[論文レビュー] An efficient hierarchical graph based image segmentation

Silvio Jamil F. Guimarães, Jean Cousty+2 more|arXiv (Cornell University)|Jun 13, 2012

Medical Image Segmentation Techniques参考文献 10被引用数 4

ひとこと要約

本稿では、FelzenszwalbとHuttenlocherの基準に基づく階層的画像セグメンテーション手法を提案する。最小全域木を用いてスケールの一貫性を保証し、因果性および位置の原則を満たす完全なセグメンテーションの階層を生成する。パrameterチューニングの必要がなく、元の手法と同等の効率性を維持する。

ABSTRACT

Hierarchical image segmentation provides region-oriented scalespace, i.e., a set of image segmentations at different detail levels in which the segmentations at finer levels are nested with respect to those at coarser levels. Most image segmentation algorithms, such as region merging algorithms, rely on a criterion for merging that does not lead to a hierarchy, and for which the tuning of the parameters can be difficult. In this work, we propose a hierarchical graph based image segmentation relying on a criterion popularized by Felzenzwalb and Huttenlocher. We illustrate with both real and synthetic images, showing efficiency, ease of use, and robustness of our method.

研究の動機と目的

• FelzenszwalbとHuttenlocherの非階層的セグメンテーション手法に内在する限界に対処する。この手法は、パrameterの変更に伴い領域数が不安定になり、輪郭が変動するため、因果性および位置の原則に違反する。
• すべてのスケールレベルを同時に生成する階層的セグメンテーションフレームワークを開発し、入れ子のセグメンテーションとスケール間での安定した輪郭を保証する。
• スケールを単一のしきい値としてではなく、自然な階層として埋め込むことで、手動によるパrameterチューニングの必要性を排除する。
• 元の手法と同等の計算効率を維持しながら、完全なマルチスケール表現を提供する。

提案手法

• 本手法は、画像の4近傍構造に基づくエッジ重み付きグラフ上に最小全域木（MST）を構築する。エッジの重みはRGB色の差に基づく。
• スケールに基づくマージ基準を定義する。これは2つの方向的スケール測度の最大値として定義される：$ S(X,Y) = \max(S_Y(X), S_X(Y)) $、ここで $ S_Y(X) = (\mathrm{Diff}(X,Y) - \mathrm{Int}(X)) \times |X| $。
• Regionが $ k \geq S(X,Y) $ を満たす場合にマージする。ここで $ k $ はスケールパrameterであり、分解能の制御に用いる。
• エッジを重みの非減少順に処理し、スケール基準を満たした場合にのみ領域をマージすることで、入れ子で安定したセグメンテーションを保証する。
• 得られた階層はサリエンシー・マップを用いて可視化され、各領域がどのスケールで出現またはマージされたかを符号化する。
• 元の手法と同様に、500ピクセル未満の領域は面積フィルタを適用して除去する。

実験結果

リサーチクエスチョン

• RQ1 因果性および位置の原則を満たす階層的セグメンテーション手法を設計可能か。これにより、スケール間で安定的かつ一貫性のあるセグメンテーションが保証されるか。
• RQ2 グラフベースのセグメンテーションにおいて、計算効率を維持したまま、手動によるパrameterチューニングの必要性を排除することは可能か。
• RQ3 本手法は、FelzenszwalbとHuttenlocherの元の手法と比較して、視覚的品質、頑健性、およびスケールレベル間の一貫性において優れているか。
• RQ4 サリエンシー・マップを用いて、セグメンテーションの完全な階層を効率的に計算および可視化できるか。

主な発見

• 321×481の画像に対して、本手法は2.7秒で完全なセグメンテーションの階層を計算するが、元の手法の1.3秒と比べてわずかに遅い。
• 本手法は因果性および位置の原則を満たす：スケールが増加するに従い、領域数は単調に減少し、輪郭はスケール間で安定している。
• 合成画像では、領域の階層的ネスト構造が正しく保持されており、スケール1000、2000、5000、140000、224000でのセグメンテーションは一貫したマージ行動を示している。
• Berkeleyセグメンテーションデータセットの画像では、階層に240〜443のスケールレベルが含まれており、主観的評価ではさまざまなスケールレベルで高品質なセグメンテーションが得られている。
• ノイズが加わった画像において、本手法は元の手法よりもより頑健な結果を生成し、70%および90%の塩こしょうノイズ下でも領域境界の保持が優れている。
• 固定された領域数（例：15）に対して、本手法は階層から元の手法の最良の手動チューニング結果と同等以上に優れたセグメンテーションを抽出できる。