[論文レビュー] Maximin affinity learning of image segmentation

Kevin L. Briggman, Winfried Denk+3 more|arXiv (Cornell University)|Dec 7, 2009

Remote-Sensing Image Classification参考文献 23被引用数 69

ひとこと要約

この論文は、分離品質を直接最適化するための新しい機械学習アプローチを提案している。具体的には、標準的な分離性能指標であるランドインデックスを最小化することで、分離品質を向上させる。問題を、グラフのしきい値処理と連結成分の分割の後に予測される接続性を示すペアワイズ画素関係（最大最小類似度）を学習する問題として定式化することで、間接的な誤差最小化を回避し、エンド・ツー・エンド最適化によって最終的な分離精度を直接向上させる。

ABSTRACT

Images can be segmented by first using a classifier to predict an affinity graph that reflects the degree to which image pixels must be grouped together and then partitioning the graph to yield a segmentation. Machine learning has been applied to the affinity classifier to produce affinity graphs that are good in the sense of minimizing edge misclassification rates. However, this error measure is only indirectly related to the quality of segmentations produced by ultimately partitioning the affinity graph. We present the first machine learning algorithm for training a classifier to produce affinity graphs that are good in the sense of producing segmentations that directly minimize the Rand index, a well known segmentation performance measure. The Rand index measures segmentation performance by quantifying the classification of the connectivity of image pixel pairs after segmentation. By using the simple graph partitioning algorithm of finding the connected components of the thresholded affinity graph, we are able to train an affinity classifier to directly minimize the Rand index of segmentations resulting from the graph partitioning. Our learning algorithm corresponds to the learning of maximin affinities between image pixel pairs, which are predictive of the pixel-pair connectivity.

研究の動機と目的

• 既存の類似度学習手法がエッジ誤分類の最適化に特化しているのに対し、最終的な分離品質の最適化に特化していないという限界を解決すること。
• 標準的な分離性能指標であるランドインデックスを最小化するように、類似度分類器を直接訓練すること。
• 中間のエッジ予測誤差ではなく、グラフ分割後の画素ペアの接続性を最適化する学習フレームワークを開発すること。
• 分離における画素ペアの接続性を予測する特徴としての最大最小類似度の概念を導入すること。
• 類似度予測と実際の分離結果のギャップを埋めるために、学習目的を最終評価指標に一致させること。

提案手法

• 類似度学習を最大最小最適化問題として定式化し、正しくグループ化された画素ペアの最小接続予測を最大化するように類似度を学習する。
• しきい値処理を施した類似度グラフを用い、単純な連結成分アルゴリズムを適用してグラフをセグメントに分割する。
• 訓練目的として、得られたセグメンテーションのランドインデックスの最小化を定義し、分類器出力を分離品質に直接結びつける。
• ランドインデックスが分離後の画素ペア接続性の分類を評価するため、エンド・ツー・エンドの目的関数として適している。
• 中間のエッジレベル誤差ではなく、最終的な分離結果を予測する類似度を学習するように設計されている。
• ランドインデックスを主な損失信号として用いることで、類似度分類器のエンド・ツー・エンド訓練が可能になる。

実験結果

リサーチクエスチョン

• RQ1 エッジ誤分類ではなく、分離品質の最適化を直接行う類似度学習は可能か？
• RQ2 訓練中にランドインデックスを最小化することで、最終的な分離性能にどのような影響を与えるか？
• RQ3 最大最小類似度を学習目的として用いることで、分離精度にどのような影響を与えるか？
• RQ4 連結成分のような単純なグラフ分割戦略が、類似度予測のための微分可能な学習フレームワークで効果的に使用可能か？
• RQ5 エッジレベル誤差の最適化を行う標準的な類似度学習と比較して、本手法はどのように異なるか？

主な発見

• 提案手法はランドインデックスを直接最適化することで、標準的な類似度学習手法と比較して高い分離品質を達成した。
• 最大最小類似度を学習することで、画素ペアの接続性予測が向上し、正確な分離に不可欠な要因となった。
• 中間の代理指標ではなく、最終評価指標に学習目的を一致させたことで、分離性能が向上した。
• しきい値処理後の連結成分の使用は、訓練中に分離品質を安定的かつ効果的に評価する手段となった。
• ランドインデックスを用いたエンド・ツー・エンド最適化が、よりロバストで正確な画像分離を実現することを示した。
• 分離性能指標の直接最適化が、間接的な誤差最小化よりも優れた結果をもたらすことが実証された。