[論文レビュー] Multi-Scale RAFT: Combining Hierarchical Concepts for Learning-based Optical FLow Estimation

Azin Jahedi, Lukas Mehl+2 more|arXiv (Cornell University)|Jul 25, 2022

Retinal Imaging and Analysis被引用数 4

ひとこと要約

本稿では、粗くから細かくまでの推定、U-Net風の多スケール特徴、相関ピラミッド、多スケールの反復損失を統合することで、単一スケールのRAFTフレームワークを拡張した新規の光流動ネットワークであるMulti-Scale RAFT（MS-RAFT）を提案する。本手法は、MPI SintelおよびKITTIベンチマークにおいて最先端の性能を達成し、特に遮蔽のない領域において、Sintel Finalで最大14.6%の精度向上を達成するとともに、より高いロバスト性と一般化性能を示した。

ABSTRACT

Many classical and learning-based optical flow methods rely on hierarchical concepts to improve both accuracy and robustness. However, one of the currently most successful approaches -- RAFT -- hardly exploits such concepts. In this work, we show that multi-scale ideas are still valuable. More precisely, using RAFT as a baseline, we propose a novel multi-scale neural network that combines several hierarchical concepts within a single estimation framework. These concepts include (i) a partially shared coarse-to-fine architecture, (ii) multi-scale features, (iii) a hierarchical cost volume and (iv) a multi-scale multi-iteration loss. Experiments on MPI Sintel and KITTI clearly demonstrate the benefits of our approach. They show not only substantial improvements compared to RAFT, but also state-of-the-art results -- in particular in non-occluded regions. Code will be available at https://github.com/cv-stuttgart/MS_RAFT.

研究の動機と目的

• 先行手法の階層的コンセプトを統合することで、非常に成功した単一スケールの光流動ネットワークであるRAFTの性能を向上させること。
• PWC-Net や SpyNet などで効果的であったとされる多スケール設計原理が、RAFTアーキテクチャに適用された場合にも依然として有益であるかどうかを調査すること。
• 統合された多スケール特徴学習と損失の監視を通じて、特に遮蔽のない領域における流動推定の精度とロバスト性を向上させること。
• サンプル単位でのロバスト化を施した多スケールの反復損失を導入することで、より堅牢なトレーニング目的関数を構築すること。

提案手法

• アップサンプリングに学習された凸マスクを用いて、粗くから細かくまでのスケールで繰り返し流動推定を改善する、共有で部分的に共有される粗くから細かくまでのアーキテクチャを導入する。
• エンコーダーから得られる多スケール特徴を統合するために、U-Net風のスキップ接続を採用し、マッチング中にスケール間で意味的拡張を実現する。
• 各スケールで非局所的なコスト情報を注入するために、RAFTの相関ピラミッドを保持し、マッチング精度を向上させる。
• すべてのスケールおよび反復ステップにわたって監視を適用する多スケールの反復損失を提案し、トレーニングの安定性と一般化性能を向上させるためにサンプル単位でのロバスト化を実施する。
• スケール間で共有される再帰的更新ユニットを用いることで、パラメータ効率を維持しつつも高い性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 粗くから細かくまでの推定や多スケール特徴といった多スケール設計原理は、単一スケールのRAFTフレームワークに適用された場合でも、依然として性能向上に寄与するか？
• RQ2 粗くから細かくまでの構造、多スケール特徴、相関ピラミッド、多スケール損失といった階層的コンセプトの組み合わせが、流動推定の精度とロバスト性にどのように影響を与えるか？
• RQ3 サンプル単位でのロバスト化を施した多スケールの反復損失は、単一スケールの監視と比較して、より良い一般化性能と過学習の低減をもたらすか？
• RQ4 提案された各コンponentsが、遮蔽のない領域のような困難な領域において、どれほど性能向上に寄与するか？

主な発見

• Sintel Finalベンチマークにおいて、MS-RAFTはRAFTと比較して14.6%の相対的EPE（終点誤差）の改善を達成し、EPEは1.37に低下した。
• Sintel Cleanベンチマークでは、MS-RAFTがEPEを1.37に低下させ、RAFTの1.61 EPEと比較して14.6%の改善を達成した。
• 遮蔽のない領域では、MS-RAFTが最先端の性能を達成し、優れた精度とロバスト性を示した。
• アブレーションスタディの結果、粗くから細かくまでのアーキテクチャ、多スケール特徴、多スケール損失の組み合わせが不可欠であることが確認された。単一のコンponentだけでは顕著な向上は得られなかった。
• サンプル単位でのロバスト化を施した多スケールの反復損失は、過学習を低減させ、一般化性能を向上させ、Sintel Finalで単一スケール損失と比較してEPEで43.6%の改善を達成した。
• 最高性能を発揮する設定は、相関ピラミッドで2つのルックアップレベルを用いた3スケール構成であり、精度と計算コストのバランスを最適にした。