[論文レビュー] Efficient Decomposition of Image and Mesh Graphs by Lifted Multicuts

Margret Keuper, Evgeny Levinkov+4 more|arXiv (Cornell University)|May 26, 2015

Medical Image Segmentation Techniques参考文献 35被引用数 8

ひとこと要約

本稿は、グラフ分解における長距離制約を可能にする最小コストマルチカット問題の一般化であるLifted Multicut Problem (LMP) を導入する。マルチカット定式化を隣接ノードを超えたペアワイズノード関係に拡張することで、著者らは効率的なプライマルヒューリスティクスを開発し、BSDS-500 およびプリンストンのメッシュセグメンテーションベンチマークで最先端の結果を達成した。LMPの有効性と一般性が、ビジョン応用において示された。

ABSTRACT

Formulations of the Image Decomposition Problem as a Multicut Problem (MP) w.r.t. a superpixel graph have received considerable attention. In contrast, instances of the MP w.r.t. a pixel grid graph have received little attention, firstly, because the MP is NP-hard and instances w.r.t. a pixel grid graph are hard to solve in practice, and, secondly, due to the lack of long-range terms in the objective function of the MP. We propose a generalization of the MP with long-range terms (LMP). We design and implement two efficient algorithms (primal feasible heuristics) for the MP and LMP which allow us to study instances of both problems w.r.t. the pixel grid graphs of the images in the BSDS-500 benchmark. The decompositions we obtain do not differ significantly from the state of the art, suggesting that the LMP is a competitive formulation of the Image Decomposition Problem. To demonstrate the generality of the LMP, we apply it also to the Mesh Decomposition Problem posed by the Princeton benchmark, obtaining state-of-the-art decompositions.

研究の動機と目的

• 画像およびメッシュグラフにおける非隣接ノード間の長距離関係を扱う標準マルチカット問題（MP）の制限を解決すること。
• 密なピクセルグリッドグラフにおけるMPのNP困難性と実用的非可解性を克服するため、目的関数表現力が向上した一般化定式化を提案すること。
• 計算的およびモデリング的制約により、従来は計算コストの高さから避けてきたフルピクセルグリッドグラフにおけるマルチカットベースの分解を可能にするために、長距離コスト項を組み込むこと。
• 画像およびメッシュセグメンテーションを含む多様なグラフ分解タスクにおいて、提案された定式化の一般性と有効性を示すこと。
• 実世界のビジョンベンチマークにおけるMPおよび新しいLMP定式化の両方のための効率的なプライマル可能ヒューリスティクスの開発および評価

提案手法

• 隣接エッジのみでなく、すべてのノードペアが異なるコンポonentに属する場合に目的関数コストを割り当てる、MPの一般化としての最小コストリフトドマルチカット問題（LMP）を提案する。
• MPおよびLMPインスタンスを解くための2つの効率的なプライマル可能ヒューリスティクスアルゴリズム（Kernighan-Linアルゴリズムの拡張を含む）を設計する。
• メッシュのためのデュアルグラフ表現（1つの三角形に1つのノード）を用いてコンポーネント関係をモデル化し、LMP定式化をメッシュ分解に適用する。
• プリンストンベンチマークで、leave-one-out交差検証を用いてランダムフォレスト分類器によりエッジカット確率をアノテーションから学習する。
• 頂点およびエッジで計算されたマルチスケール幾何的特徴（曲率、形状径、二面角）を用い、28次元のエッジ特徴を導出する。
• 隣接コンポーネント間のカットの事前確率 $p^*$ を調整可能にすることで、過剰および過小セグメンテーションを制御し、ハイパーパramータ感度に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 長距離制約を備えた一般化マルチカット定式化は、標準MPと比較して、画像およびメッシュグラフにおける分解精度を向上させることができるか？
• RQ2 効率的なプライマルヒューリスティクスは、従来の計算非可解性に起因する課題を克服し、密なピクセルグリッドグラフにおけるMPおよびLMPを効果的に解くことができるか？
• RQ3 LMP定式化は、セマンティックラベルの必要がない状況でも、画像およびメッシュセグメンテーションベンチマークで最先端の手法を上回るか、同等の性能を示すか？
• RQ4 LMPにおけるハイパーパramータ、特にカット事前確率 $p^*$ および距離閾値 $d^*$ の変更に伴う結果の感度はどの程度か？
• RQ5 LMP定式化は、統一されたアルゴリズムフレームワークを用いて、画像およびメッシュ分解の両方に対して効果的に適用可能か？

主な発見

• LMP定式化は、BSDS-500ベンチマークにおいて、最先端の結果と差がない分解品質を達成しており、画像分解における競争力の高さを示している。
• プリンストンメッシュセグメンテーションベンチマークにおいて、Alg. 2を用いたLMPは、[42, 33] よりわずかに優れた結果を達成し、[24] に近い最先端の性能にまで到達しているが、コンポーネントのセマンティックラベルの必要がない。
• 1台の2.20 GHz Intel i7ラップトップ上で、1メッシュモデルあたりの中央処理時間は、リフト処理で51秒、Alg. 2で59秒であり、平均して18,000ノードおよび27,000エッジのグラフが使用された。
• カットの事前確率 $p^*$（0.5 から 0.62 まで変化）を変更することで、過剰および過小セグメンテーションの制御が有効に行えることが、図5で示された。
• LMP定式化により、従来のMPではモデル化されていなかった長距離コスト項が、異なるコンポーネントに属するすべてのノードペアに目的関数値を割り当てることで可能になった。
• 本手法は、数百の特徴を用いた先行研究と比較して、顕著に特徴次元を削減した28次元の幾何的特徴のみを用いても高い性能を達成した。