[論文レビュー] A Unified Multiscale Framework for Discrete Energy Minimization

Shai Bagon, Meirav Galun|arXiv (Cornell University)|Apr 22, 2012

Visual Attention and Saliency Detection参考文献 19被引用数 3

ひとこと要約

本稿では、エネルギー関数から直接エネルギーピラミッドを構築する統一的なマルチスケールフレームワークを提案する。このフレームワークにより、解空間の効率的探索が可能となり、エネルギーに配慮した補間を用いて変数またはラベルを粗化することで、部分的でないエネルギーおよび非部分的でないエネルギーの両方において最適化性能が向上し、エネルギー値が低く、収束が速いという点で最先端手法を上回る。

ABSTRACT

Discrete energy minimization is a ubiquitous task in computer vision, yet is NP-hard in most cases. In this work we propose a multiscale framework for coping with the NP-hardness of discrete optimization. Our approach utilizes algebraic multiscale principles to efficiently explore the discrete solution space, yielding improved results on challenging, non-submodular energies for which current methods provide unsatisfactory approximations. In contrast to popular multiscale methods in computer vision, that builds an image pyramid, our framework acts directly on the energy to construct an energy pyramid. Deriving a multiscale scheme from the energy itself makes our framework application independent and widely applicable. Our framework gives rise to two complementary energy coarsening strategies: one in which coarser scales involve fewer variables, and a more revolutionary one in which the coarser scales involve fewer discrete labels. We empirically evaluated our unified framework on a variety of both non-submodular and submodular energies, including energies from Middlebury benchmark.

研究の動機と目的

• コンピュータビジョンにおける離散的エネルギー最小化のNP困難性に対処するため、マルチスケール戦略を活用する。
• 従来の画像ピラミッドベース手法の限界を克服するため、元の画像データではなくエネルギー関数そのものにマルチスケールのエネルギーピラミッドを構築する。
• 多様なエネルギー最小化問題に適用可能な汎用的で、アプリケーションに依存しないフレームワークを構築する。
• 現在の手法が満足のいく近似を提供できない困難な非部分的でないエネルギーにおける最適化性能を向上させる。
• 原理的な粗化によってエネルギーのマルチスケール構造を露わにすることで、粗くから細かくへの最適化を効率的に行えるようにする。

提案手法

• エネルギーに配慮した補間を用いて、元のエネルギー関数を粗くすることでエネルギーピラミッドを構築する。
• 2つの粗化戦略を導入する：変数の数を減らす（空間的粗化）と、離散的ラベルの数を減らす（ラベル粗化）。
• 単一項および二項項の両方を基にしたエネルギーに配慮した変数間の合意測度を提案し、補間および粗化をガイドする。
• 各スケールでシンプルな局所的ソルバー（例：ICM、αβ-スワップ）を用い、粗いスケールから細かいスケールへ情報を伝搬する。
• 効率的なラベル粗化を可能にするために、ラベル相関推定の閉形式式を適用し、ラベルベースのピラミッドを素早く構築する。
• 標準的な離散的最適化アルゴリズムとフレームワークを統合し、既存のソルバーにプラグインとして組み込めるようにする。

実験結果

リサーチクエスチョン

• RQ1 画像データではなくエネルギー関数そのものに直接作用する統一的なマルチスケールフレームワークを設計可能か？
• RQ2 離散的エネルギーのマルチスケール構造を効果的に露わにし、最適化に活用できるか？
• RQ3 変数およびラベルのエネルギーに配慮した粗化が、非部分的でないエネルギーにおける最適化性能を向上させられるか？
• RQ4 異なる合意測定法の選択が、得られるエネルギーピラミッドの品質に与える影響はいかほどか？
• RQ5 ラベル粗化は、高ラベル数問題におけるαβ-スワップのスケーラビリティおよび性能をどの程度向上させるか？

主な発見

• 提案されたエネルギーに配慮した合意測度は、従来手法（例：単一項差分、平均適合度）を常に上回り、変数相関の推定が向上することで、より優れたマルチスケール最適化結果が得られた。
• Middleburyステレオベンチマークにおいて、ノイズ除去では下界の103.6%、ステレオでは106.0%のエネルギー値を達成した。これは単一スケールのαβ-スワップ（111.3%および128.7%）よりも顕著に優れていた。
• ペンギン画像の穴埋めタスクでは、単一スケールのICMは大きな欠損領域を埋められなかったが、マルチスケールフレームワークはギャップを越えて情報を効果的に伝搬できた。
• ノイズ除去タスクにおいて、ラベル粗化により最適化時間を253秒（単一スケール）から128秒（最も粗いスケール）に短縮し、エネルギー値も111.3%から103.6%に改善した。
• 非部分的でないエネルギーおよび部分的でないエネルギーの両方において、最先端手法と同等またはより低いエネルギー値を達成したため、広範な適用可能性が示された。
• ラベル相関推定の閉形式式のおかげで、ラベル粗化はミリ秒未塔の高速なエネルギーピラミッド構築が可能であった。