[論文レビュー] Full Flow: Optical Flow Estimation By Global Optimization over Regular Grids

Qifeng Chen, Vladlen Koltun|arXiv (Cornell University)|Apr 12, 2016

Advanced Vision and Imaging参考文献 3被引用数 19

ひとこと要約

本稿では、特徴記述子の一致を経由せずに、完全な正則グリッド上で古典的な Horn-Schunck 型の目的関数を直接最小化する、グローバル最適化手法 Full Flow を提案する。グリッドの正則構造を活用することで、単一解像度におけるワンショットグローバル最適化のみを用いて、Sintel および KITTI 2015 ベンチマークで最先端の性能を達成する。

ABSTRACT

We present a global optimization approach to optical flow estimation. The approach optimizes a classical optical flow objective over the full space of mappings between discrete grids. No descriptor matching is used. The highly regular structure of the space of mappings enables optimizations that reduce the computational complexity of the algorithm's inner loop from quadratic to linear and support efficient matching of tens of thousands of nodes to tens of thousands of displacements. We show that one-shot global optimization of a classical Horn-Schunck-type objective over regular grids at a single resolution is sufficient to initialize continuous interpolation and achieve state-of-the-art performance on challenging modern benchmarks.

研究の動機と目的

• 局所最適化の限界、すなわちしばしば局所的最小値に陥ることを是正すること。
• 光流の目的関数と同時に最適化されない分離された記述子マッチングモジュールの必要性を排除すること。
• 正則グリッド上の写像空間全体に対するグローバル最適化が計算的に実行可能で効果的であることを示すこと。
• 古典的な Horn-Schunck 目的関数をグローバルに最適化するという最小限のアプローチが、最先端の精度を達成できることを示すこと。
• さまざまなデータ項および正則化項を扱える、シンプルで一般化可能な光流推定フレームワークを提供すること。

提案手法

• ピクセル対応の密集2次元グリッド上のマルコフ確率場（MRF）として光流推定を定式化する。
• グローバル離散最適化を用いて、古典的な Horn-Schunck 目的関数 $ E(f) = E_{\text{data}}(f) + \lambda E_{\text{reg}}(f) $ を最適化する。
• グリッドの正則構造を活用し、最小化のためのメッセージパッシングをミニマムコンボリューションアルゴリズムで高速化することで、内側ループの計算量を二次から一次に削減する。
• 大規模な変位および明るさの変動に対して高い耐性を示すために、パッチベースで切り捨てられた NCC データ項を採用する。
• 外れ値の存在下でも耐性を高めるために、正則化に $ L^1 $-ノルムペナルティを用いる。
• 最終的な高精度出力のために、グローバルに最適化された離散的光流に対して連続補間（例：Revaud et al.）を適用する。

実験結果

リサーチクエスチョン

• RQ1 完全な正則グリッド上で古典的な Horn-Schunck 目的関数をグローバル最適化することで、Sintel および KITTI 2015 ベンチマークで最先端の精度を達成できるか？
• RQ2 記述子マッチングを排除し、光流目的関数のグローバル最適化にのみ依存することで、現在の手法よりも優れた性能が得られるか？
• RQ3 グリッドの正則構造を活用することで、大規模な光流推定においてグローバル最適化が計算的に実行可能になるか？
• RQ4 グローバル最適化フレームワーク内での異なるデータ項および正則化関数の影響は何か？
• RQ5 マルチスケールの最適化を一切行わない、単一解像度でのワンショットグローバル最適化で十分な精度が得られるか？

主な発見

• 完全な正則グリッド上で古典的な Horn-Schunck 目的関数をグローバル最適化することで、Sintel および KITTI 2015 ベンチマークの両方で最先端の性能を達成した。
• パッチベースで切り捨てられた NCC データ項は、ピクセル単位の Horn-Schunck データ項を著しく上回り、平均エンドポイント誤差（EPE）をベースライン比で10%以上削減した。
• $ L^1 $-ノルムペナルティによる正則化が最良の性能を示し、Sintel ベンチマークでの平均 EPE は 5.847 と最低を記録した。
• 古典的な2次正則化子を維持したまま、ピクセル単位のデータ項をパッチベースの NCC 項に置き換えることで、トップパフォーマンスのバリエーションの90%の精度を達成した。
• 本手法は、すべてのテスト画像で高い精度を達成しており、特に挑戦的なシーンにおいてパッチベースの NCC 項が優れた耐性を示した。
• ミニマムコンボリューションによる加速のおかげで、数万ノードのグローバル最適化が一次計算量で実行可能であり、非常に効率的である。