[論文レビュー] A Fusion Approach for Multi-Frame Optical Flow Estimation

Zhile Ren, Orazio Gallo+4 more|arXiv (Cornell University)|Oct 23, 2018

Advanced Vision and Imaging参考文献 49被引用数 5

ひとこと要約

本論文は、過去のフレームからの光流予測を逆ワープして現在のフレームに合わせ、現在フレームの推定値と組み合わせる学習可能な統合ネットワークを用いて、マルチフレーム光流推定のための新規統合フレームワークを提案する。本手法は、長期間の時間的文脈を効果的に活用することで、2フレームベースラインおよびGRUに基づくマルチフレーム手法を上回り、MPI SintelおよびKITTI 2015ベンチマークで最先端の性能を達成する。

ABSTRACT

To date, top-performing optical flow estimation methods only take pairs of consecutive frames into account. While elegant and appealing, the idea of using more than two frames has not yet produced state-of-the-art results. We present a simple, yet effective fusion approach for multi-frame optical flow that benefits from longer-term temporal cues. Our method first warps the optical flow from previous frames to the current, thereby yielding multiple plausible estimates. It then fuses the complementary information carried by these estimates into a new optical flow field. At the time of writing, our method ranks first among published results in the MPI Sintel and KITTI 2015 benchmarks. Our models will be available on https://github.com/NVlabs/PWC-Net.

研究の動機と目的

• 現在の光流手法が2つの連続フレームに依存するという制限を解消し、より長い時間的シーケンスが豊富な動きの文脈を提供することを目的とする。
• 2フレーム手法がしばしば失敗する、オクルージョン領域や境界外ピクセルのような困難な領域での光流推定を改善することを目的とする。
• 任意の2フレーム光流モデルを入力として統合できる、柔軟でエンドツーエンドで学習可能なフレームワークを開発することを目的とする。
• 複数のワープされた流れ推定値を統合することで、1つの最良の推定値を選択するか、再帰的ネットワークを用いるのと比較して、より優れた性能が得られることを示すこと

提案手法

• 逆ワープを用いて、過去のフレームからの光流予測を現在のフレームに空間的に合わせる。
• ワープされた過去の流れと現在フレームの流れ推定値を、補完的な情報を学習して組み合わせる専用の統合ネットワークに供給する。
• 大きな受容 field を有する深層ニューラルネットワークを統合に用い、流れ候補の文脈に配慮した集約を可能にする。
• 下位の2フレームモデルと統合ネットワークを同時に学習させ、流れ推定と統合の両方を共同最適化可能にする。
• 現代の2フレームモデル（例：PWC-Net）の微分可能性を活用し、パイプライン全体にバックプロパゲーションを可能にする。
• 事前学習段階として合成データセット（virtual KITTI、Monkaa）を用い、その後、公開ベンチマーク（KITTI 2015、Sintel）でファインチューニングを行う。

Figure 1: Given a scene with challenging motions, even state-of-the-art two-frame optical flow methods fail to predict the correct motion. Our flow fusion approach offers an effective method to incorporate temporal information and improve the predicted flow.

実験結果

リサーチクエスチョン

• RQ1 複数の過去フレームからの光流推定を組み込むことで、2フレーム手法と比較して、困難な光流ベンチマークでの性能向上が達成できるか？
• RQ2 学習可能な統合メカニズムは、単純な選択や平均化よりも優れた性能を示すか？
• RQ3 動きの急激な変化やオクルージョン領域であっても、統合ネットワークが長期間の時間的文脈を効果的に活用できるか？
• RQ4 提案された統合フレームワークは、最先端の2フレーム光流モデルと併用可能で、効果的か？
• RQ5 統合アプローチは、動き境界やオクルージョンを含む異なるデータセットや動きパターンに一般化可能か？

主な発見

• PWC-Fusionは、MPI Sintelベンチマークで、発表済みのすべての手法の中で最高の順位を達成し、すべての2フレームベースラインを上回った。
• KITTI 2015ベンチマークでは、PWC-Fusionは、当時最先端とされていたPWC-Netを含む、すべての2フレーム光流手法を上回った。
• 融合された流れが両方の入力と異なる赤色領域（EPEが3.93低下）では、平均エンドツーエンド誤差（EPE）が低下し、最良の入力よりも精度が向上した。
• オクルージョン領域および境界外ピクセルでは、融合された流れのEPEが現在フレームの流れよりも顕著に低く、過去の流れ情報の価値を示した。
• 曖昧な領域では、37.65％のピクセルで融合ネットワークが現在の流れとワープされた過去の流れの両方よりも優れた結果を出力し、優れた推定値を合成できる能力を証明した。
• 可視化結果では、動き境界部で一貫した改善が観察され、PWC-Net単体と比較して、より正確で一貫性のある流れ場を生成した。

Figure 2: Architecture of the proposed fusion approach for three-frame optical flow estimation. The dashed line indicates that the PWC-Nets share the same weights. PWC-Net can be replaced with other two-frame flow methods like FlowNetS.