[论文解读] Maximin affinity learning of image segmentation

Kevin L. Briggman, Winfried Denk+3 more|arXiv (Cornell University)|Dec 7, 2009

Remote-Sensing Image Classification参考文献 23被引用 69

一句话总结

本文提出了一种新颖的机器学习方法，通过直接最小化Rand指数（一种标准的分割性能度量指标）来优化分割质量，从而训练一种亲和力分类器。通过将问题建模为学习最大最小亲和力——即预测图阈值化和连通分量划分后像素对之间连接性的成对像素关系——该方法绕过了间接误差最小化，转而通过端到端优化直接提升最终分割精度。

ABSTRACT

Images can be segmented by first using a classifier to predict an affinity graph that reflects the degree to which image pixels must be grouped together and then partitioning the graph to yield a segmentation. Machine learning has been applied to the affinity classifier to produce affinity graphs that are good in the sense of minimizing edge misclassification rates. However, this error measure is only indirectly related to the quality of segmentations produced by ultimately partitioning the affinity graph. We present the first machine learning algorithm for training a classifier to produce affinity graphs that are good in the sense of producing segmentations that directly minimize the Rand index, a well known segmentation performance measure. The Rand index measures segmentation performance by quantifying the classification of the connectivity of image pixel pairs after segmentation. By using the simple graph partitioning algorithm of finding the connected components of the thresholded affinity graph, we are able to train an affinity classifier to directly minimize the Rand index of segmentations resulting from the graph partitioning. Our learning algorithm corresponds to the learning of maximin affinities between image pixel pairs, which are predictive of the pixel-pair connectivity.

研究动机与目标

• 解决现有亲和力学习方法优化边缘误分类而非最终分割质量的局限性。
• 直接训练亲和力分类器以最小化Rand指数，这是一种标准的分割性能度量指标。
• 开发一种学习框架，优化像素对在图划分后的连通性，而非中间阶段的边缘预测误差。
• 引入最大最小亲和力的概念，作为预测分割中像素对连通性的特征。
• 通过将学习目标与最终评估指标对齐，弥合亲和力预测与实际分割结果之间的差距。

提出的方法

• 该方法将亲和力学习表述为最大最小优化问题，其中亲和力被学习以最大化对正确分组像素对的最小连通性预测。
• 使用阈值化的亲和力图，并应用简单的连通分量算法将图划分为不同区域。
• 训练目标被定义为最小化所得分割的Rand指数，从而将分类器输出与分割质量直接关联。
• 该方法利用了Rand指数在分割后评估像素对连通性分类的特性，使其成为合适的端到端目标。
• 该算法旨在学习能够预测最终分割结果的亲和力，而非中间阶段的边缘级误差。
• 该方法使亲和力分类器能够使用Rand指数作为主要损失信号，实现端到端训练。

实验结果

研究问题

• RQ1 亲和力学习能否直接针对分割质量进行优化，而非边缘误分类？
• RQ2 在训练过程中最小化Rand指数如何影响最终的分割性能？
• RQ3 将最大最小亲和力作为学习目标对分割准确率有何影响？
• RQ4 在可微学习框架中，能否有效使用如连通分量这样的简单图划分策略进行亲和力预测？
• RQ5 与优化边缘级误差的标准亲和力学习方法相比，该方法表现如何？

主要发现

• 所提出的方法直接优化Rand指数，相比标准亲和力学习方法，实现了更高的分割质量。
• 通过学习最大最小亲和力，模型提升了对像素对连通性的预测能力，这对准确分割至关重要。
• 该方法通过将训练目标与最终评估指标对齐，而非依赖中间代理指标，从而实现了更好的分割性能。
• 在阈值化后使用连通分量提供了一种稳定且有效的方式，用于在训练过程中评估分割质量。
• 该方法表明，使用Rand指数进行端到端优化可产生更鲁棒、更准确的图像分割结果。
• 实验结果表明，直接优化分割性能度量指标相比间接误差最小化，能获得更优越的分割结果。