[论文解读] Kernel Cuts: MRF meets Kernel & Spectral Clustering

Meng Tang, Dmitrii Marin+2 more|arXiv (Cornell University)|Jun 24, 2015

Advanced Image and Video Retrieval Techniques参考文献 81被引用 3

一句话总结

本文提出了 Kernel Cuts，一种新颖的分割框架，将马尔可夫随机场（MRF）正则化与如归一化割（NC）和平均关联（AA）等成对聚类准则统一起来。通过将聚类目标表述为与离散优化兼容的边界，该方法实现了利用图割和移动优化算法进行高效联合优化，从而在颜色、纹理和空间位置等高维特征上取得了优越的分割结果。

ABSTRACT

We propose a new segmentation model combining common regularization energies, e.g. Markov Random Field (MRF) potentials, and standard pairwise clustering criteria like Normalized Cut (NC), average association (AA), etc. These clustering and regularization models are widely used in machine learning and computer vision, but they were not combined before due to significant differences in the corresponding optimization, e.g. spectral relaxation and combinatorial max-flow techniques. On the one hand, we show that many common applications using MRF segmentation energies can benefit from a high-order NC term, e.g. enforcing balanced clustering of arbitrary high-dimensional image features combining color, texture, location, depth, motion, etc. On the other hand, standard clustering applications can benefit from an inclusion of common pairwise or higher-order MRF constraints, e.g. edge alignment, bin-consistency, label cost, etc. To address joint energies like NC+MRF, we propose efficient Kernel Cut algorithms based on bound optimization. While focusing on graph cut and move-making techniques, our new unary (linear) kernel and spectral bound formulations for common pairwise clustering criteria allow to integrate them with any regularization functionals with existing discrete or continuous solvers.

研究动机与目标

• 弥合基于 MRF 的分割方法与谱聚类方法之间的差距，这两类方法历史上使用了不相容的优化技术。
• 在统一的能量函数中实现 MRF 正则化与成对聚类目标（如 NC 和 AA）的联合优化。
• 开发高效且可扩展的算法，将标准聚类准则与 MRF 约束相结合，利用现有的离散与连续求解器。
• 证明将高阶 MRF 潜能与类似归一化割的目标结合，可提升复杂特征空间中的分割准确率与平衡性。

提出的方法

• 提出一种基于线性核和谱松弛的边界公式化方法，用于成对聚类准则（如 NC、AA），使其与离散优化兼容。
• 引入伪边界引理（引理 2），为基于比率的聚类目标提供一个凹上界，从而通过移动优化实现迭代优化。
• 采用对角偏移技术，将非凸的聚类目标转换为凹的代理函数，借助辅助函数方法实现收敛性保证。
• 使用统一的能量函数 E(S) = EA(S) + γ∑c∈F Ec(Sc)，将谱聚类项与 MRF 潜能（如 Potts、Pn-Potts、标签代价）结合。
• 应用图割和移动优化算法来优化联合能量，利用现有的 MRF 和谱方法求解器。
• 推导出 Gini 准则的连续松弛形式，并证明其对高密度区域具有偏向性，为聚类偏差提供了理论洞察。

实验结果

研究问题

• RQ1 能否在单一优化框架中有效结合谱聚类目标（如 NC 和 AA）与 MRF 正则化？
• RQ2 在图割等离散优化框架中，如何处理基于比率的非凸聚类目标？
• RQ3 将高阶 MRF 潜能（如 Pn-Potts）与类似归一化割的项结合，对分割质量与平衡性有何影响？
• RQ4 所提出的边界公式化方法是否在保证收敛性的同时，实现了多种能量项的联合优化？
• RQ5 在高维图像空间中，引入空间与特征正则化如何改善聚类性能？

主要发现

• 所提出的 Kernel Cuts 框架成功将 MRF 正则化与谱聚类目标（如 NC 和 AA）统一，实现了通过图割和移动优化算法的联合优化。
• 边界公式化确保了收敛性，并允许使用现有的离散与连续求解器处理 MRF 和谱方法。
• 实验表明，添加高阶 NC 项显著提升了分割的平衡性与准确率，尤其是在结合颜色、纹理与空间特征时。
• 在高维数据上，该方法优于标准的 pKM 和基于 GMM 的方法，后者常因 Gini 偏差导致模型拟合不佳。
• 理论分析证实，Gini 准则偏向于高密度区域，而所提出的连续松弛形式提供了一种合理处理该偏差的方法。
• 实证结果表明，结合 NC 与 MRF 项的联合能量函数在能量值上更低，分割效果优于任一单独组件，尤其在高维、复杂场景中表现更优。