[論文レビュー] Accurate Optical Flow via Direct Cost Volume Processing

Xu Jia, René Ranftl+1 more|arXiv (Cornell University)|Apr 24, 2017

Advanced Vision and Imaging参考文献 11被引用数 31

ひとこと要約

本論文は、学習された特徴埋め込みと適応された半グローバルマッチング（SGM）アルゴリズムを用いて、完全な4次元コストボリュームを構築・処理する直接的光学フロー手法を提案する。コストボリュームの規則性を活用することで、SintelおよびKITTI 2015ベンチマークで最先端の精度を達成しながらも、競争力ある推論速度を維持し、先行する汎用的手法を大きく上回る性能を発揮する。

ABSTRACT

We present an optical flow estimation approach that operates on the full four-dimensional cost volume. This direct approach shares the structural benefits of leading stereo matching pipelines, which are known to yield high accuracy. To this day, such approaches have been considered impractical due to the size of the cost volume. We show that the full four-dimensional cost volume can be constructed in a fraction of a second due to its regularity. We then exploit this regularity further by adapting semi-global matching to the four-dimensional setting. This yields a pipeline that achieves significantly higher accuracy than state-of-the-art optical flow methods while being faster than most. Our approach outperforms all published general-purpose optical flow methods on both Sintel and KITTI 2015 benchmarks.

研究の動機と目的

• 大きな変位、テクスチャの欠如領域、モーショントラブルに起因する高精度な光学フロー推定を達成するという長年の課題に取り組む。
• ステレオマッチングと光学フローのギャップを埋めるために、ステレオマッチングで効果的であると証明されたコストボリューム処理を光学フローに適用するが、計算負荷の高さが課題となる。
• 学習された特徴埋め込みと正則化最適化を用いることで、完全な4次元コストボリューム処理が実用的かつ効率的に行えることを示す。
• ドメイン特化の監視や大規模なニューラルネットワークに依存せずに、標準ベンチマークで最先端の性能を達成することを目的とする。

提案手法

• 本手法は、画像パッチ間の類似度を内積ベースで効率的に計算できるようにするため、コンactな畳み込みニューラルネットワーク（112Kパラメータ）を用いて特徴埋め込みを学習する。
• 探索空間の規則的構造と学習された特徴の活用により、全4次元コストボリュームが高速に構築可能（300ms未満）。
• 半グローバルマッチング（SGM）を4次元設定に適応させ、空間的整合性を強化し、外れ値を除去する。これは、規則的なグリッド構造がもたらす大規模並列処理の恩恵を活用する。
• 後処理としてホモロジーに基づくインpaintingを実装し、特に平面的運動を示す剛体シーンの流れ場を高精度に修正する。
• パイプラインは2段階アプローチを採用：まず学習された特徴を用いたコストボリューム構築、次にSGM最適化とホモロジー正則化による処理。
• 実行時間の最適化には、高速推論（80msコストボリューム）と最終的な流れの精緻化に効率的な補間法（EpicFlow）を活用する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム光学フロー推定に十分な速度で、完全な4次元コストボリュームを構築できるか？
• RQ2 SGMのようなグローバル最適化手法を用いて4次元コストボリュームを直接処理することで、既存の光学フロー手法よりも高い精度が達成できるか？
• RQ3 高次元特徴を必要としない、わずか10次元の特徴埋め込みでも、従来のマッチング関数（例：NCC）に代わって、同等またはそれ以上の精度を維持できるか？
• RQ4 ホモロジーに基づく後処理は、剛体的で平面的なシーンにおいて、どの程度流れの精度を向上させるか？
• RQ5 コストボリュームベースの光学フロー手法は、ドメイン特化の監視を一切用いずに、エンドツーエンドの深層学習モデルを上回る精度と速度を達成できるか？

主な発見

• Sintelベンチマークでは、エンドツーエンドのピクセル誤差（AEPE）が5.44に達し、発表済みのすべての汎用的光学フロー手法を上回る性能を示した。
• KITTI 2015ベンチマークでは、提出時における最良の先行研究（'Patch-Batch'）と比較して、Fl-all誤差を29.5%低減した。
• コストボリューム構築は高速モードで80ms、正確モードで260msで実行可能であり、4次元コストボリューム処理が計算的に実現可能であることを示している。
• 10次元の特徴埋め込みを用いても強力な性能（SintelでのAEPE: 5.71）を発揮するため、高次元特徴を必要としない高精度な手法が可能であることが示された。
• ホモロジーに基づく後処理は、KITTI（遮蔽誤差15.09%）において顕著な精度向上をもたらしたが、Sintelではそれほど大きな効果は見られず、シーンの剛体性の違いが反映されている。
• Full Flow [7] よりも10倍以上高速であり、コストボリューム構築を避ける大多数の手法よりも高速でありながら、より高い精度を達成している。