[論文レビュー] EpicFlow: Edge-Preserving Interpolation of Correspondences for Optical Flow

Jérôme Revaud, Philippe Weinzaepfel+2 more|arXiv (Cornell University)|Jan 12, 2015

Advanced Vision and Imaging参考文献 21被引用数 59

ひとこと要約

EpicFlowは、エッジを保全する補間とエッジに敏感な測地的距離を用いたスパースマッチの補間を活用することで、大規模な変位、オクルージョン、運動境界を効果的に処理する、光学フロー推定の新規手法を提案する。スパースマッチの補間により得られた密度の高い対応関係を初期化として用いる1段階の変分エネルギー最小化により、MPI-Sintelでは最先端の性能を達成し、KittiおよびMiddleburyでも競争力のある結果を示す。1枚の画像ペアあたりの実行時間は単一のCPUコアでわずか16.4秒である。

ABSTRACT

We propose a novel approach for optical flow estimation , targeted at large displacements with significant oc-clusions. It consists of two steps: i) dense matching by edge-preserving interpolation from a sparse set of matches; ii) variational energy minimization initialized with the dense matches. The sparse-to-dense interpolation relies on an appropriate choice of the distance, namely an edge-aware geodesic distance. This distance is tailored to handle occlusions and motion boundaries -- two common and difficult issues for optical flow computation. We also propose an approximation scheme for the geodesic distance to allow fast computation without loss of performance. Subsequent to the dense interpolation step, standard one-level variational energy minimization is carried out on the dense matches to obtain the final flow estimation. The proposed approach, called Edge-Preserving Interpolation of Correspondences (EpicFlow) is fast and robust to large displacements. It significantly outperforms the state of the art on MPI-Sintel and performs on par on Kitti and Middlebury.

研究の動機と目的

• 大規模な変位と運動不連続性が存在する状況で、粗くから細かくする変分光学フロー手法に見られる誤差の累積と局所的最適解への陥落という限界を是正すること。
• スパースマッチと輪郭の手がかりを活用することで、密度の高い光学フロー推定を向上させること。特に、運動境界がしばしば画像のエッジと一致することを活用する。
• マルチスケール最適化に依存せずに、エッジを保全し、オクルージョンに対応できる高速で正確かつロバストな補間スキームを開発すること。
• エッジを保全する補間マッチで初期化された1段階の変分最小化が、従来の粗くから細かくするアプローチを上回る精度とロバスト性を達成できることを示すこと。
• 計算のオーバーヘッドを低減しつつ、精度を維持または向上させる、粗くから細かくする手法の効率的な代替策を提供すること。

提案手法

• 本手法は、DeepMatchingなどの大規模な変位やオクルージョンに強く、頑健なマッチングアルゴリズムにより得られたスパースマッチセットから出発する。
• 画像の輪郭に沿ったパスを優先するエッジに敏感な測地的距離メトリックを導入し、補間中に運動不連続性が保たれるようにする。
• 局所アフィンモデルを用いてスパースマッチを補間することで密度の高い対応関係場を生成するが、標準的なユークリッド距離の代わりに測地的距離を用いることでエッジの一貫性を強制する。
• 1マッチあたり1つのアフィンモデルのみを用いて測地的距離を計算する近似スキームを提案し、精度を損なわせることなく補間ステップを著しく高速化する。
• 補間された密度の高い対応関係場を用いて、標準的な光学フロー最適化手法を用いた1段階の変分エネルギー最小化を実行し、フロー場を精緻化する。
• 測地的距離の計算を補強するために、画像のエッジをSED法で抽出し、境界の保全を向上させる。

実験結果

リサーチクエスチョン

• RQ1 エッジに敏感な距離メトリックを用いたスパースから密度への補間が、大規模な変位とオクルージョンが存在する状況での光学フロー推定を改善できるか？
• RQ2 標準的なユークリッド距離の代わりにエッジに敏感な測地的距離を用いることで、補間されたフロー場における運動境界の保全が向上するか？
• RQ3 エッジを保全する補間マッチで初期化された1段階の変分最小化が、マルチスケールの粗くから細かくするアプローチを上回る精度とロバスト性を達成できるか？
• RQ4 測地的距離の計算を近似スキームで高速化できるか？その場合、性能が劣化しないか？
• RQ5 MPI-Sintel、Kitti、Middleburyといったベンチマークデータセットにおいて、提案手法は最先端の光学フロー手法と比較してどうなるか？

主な発見

• EpicFlowはMPI-Sintelのテストセットで最高の性能を達成し、非オクルージョン領域では平均エンドポイント誤差（AEE）が1.135、オクルージョン領域では3.727を記録。表4に掲載されたすべての先行手法を上回った。
• Kittiデータセットでは、非オクルージョン領域でAEEが1.5、全体で3.8を記録。TF+OFMとDeepFlowを上回り、NLTGV-SCと同等の性能を示したが、より高速であった。
• 1枚の画像ペア（1024×436）あたり16.4秒で実行可能で、その91％がマッチング処理に費やされている。密度の高い補間ステップを経ても、依然として高い効率性を示している。
• MiddleburyデータセットではAEEが0.4ピクセル未満を達成し、大規模な変位が存在しない状況でも強力な性能を示した。
• 失敗事例の主な原因は、細い構造（例：ドラゴンの槍や角）でのマッチングの欠落、または輪郭検出の不良であり、これによりフローが背景に漏れ込む場合がある。
• 測地的距離の近似により、性能に損なわれることなく高速な計算が可能となり、補間ステップが実用的かつ効率的なものとなった。