[論文レビュー] High Resolution Multi-Scale RAFT (Robust Vision Challenge 2022)

Azin Jahedi, Maximilian Luz+3 more|arXiv (Cornell University)|Oct 30, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

本論文では、MS-RAFT+ を提示する。これは、要件に応じたコスト計算と追加のより細かいスケールを導入することで、事前計算されたコストボリュームを必要とせず、フル解像度での光流推定を可能にする高解像度でマルチスケールな光学フロー手法である。本手法は、VIPER、KITTI、Sintel、Middlebury などのすべてのベンチマークで、2022年ロバストビジョンチャレンジで1位を獲得し、優れた汎化性能と正確性を示した。

ABSTRACT

In this report, we present our optical flow approach, MS-RAFT+, that won the Robust Vision Challenge 2022. It is based on the MS-RAFT method, which successfully integrates several multi-scale concepts into single-scale RAFT. Our approach extends this method by exploiting an additional finer scale for estimating the flow, which is made feasible by on-demand cost computation. This way, it can not only operate at half the original resolution, but also use MS-RAFT's shared convex upsampler to obtain full resolution flow. Moreover, our approach relies on an adjusted fine-tuning scheme during training. This in turn aims at improving the generalization across benchmarks. Among all participating methods in the Robust Vision Challenge, our approach ranks first on VIPER and second on KITTI, Sintel, and Middlebury, resulting in the first place of the overall ranking.

研究の動機と目的

• フル解像度での光学フロー推定の正確性を向上させつつ、計算効率を維持すること。
• タスク固有の微調整に依存せずに、多様なベンチマークにわたる汎化性能を向上させること。
• MS-RAFTフレームワークに追加のより細かいスケールを組み込み、詳細の保持を改善すること。
• 事前計算を避ける要件に応じたコスト計算により、高解像度のフロー推定を可能とすること。
• 複数のデータセットにわたる耐性と性能を向上させるトレーニング方式を開発すること。

提案手法

• 粗くから細かくまでの推定パイプラインに追加のより細かいスケールを導入し、MS-RAFTの4スケールフレームワークを拡張する。
• 全ペairコストボリュームを保存しないように、特別なCUDAカーネルを用いた要件に応じた相関コスト計算を採用する。
• 全スケール、特にフル解像度補間においても共有された再帰的フローリファインメントと学習可能な凸補間を用いる。
• 複数のベンチマークからの混合トレーニングデータを組み合わせた、変更された微調整戦略を採用する。
• 推論およびトレーニング中に動的コスト計算を可能にするために、2番目のフレーム特徴量を段階的にプーリングすることで特徴ピラミッドを構築する。
• フル解像度補間における双線形補間の必要性を排除するため、学習可能な凸補間を用いる。

実験結果

リサーチクエスチョン

• RQ1 追加のより細かいスケールは、メモリや計算量を著しく増加させることなく、光学フローの正確性を向上させることができるか？
• RQ2 要件に応じたコスト計算は、事前計算されたコストボリュームのメモリオーバーヘッドを回避しながら、高解像度のフロー推定をどのように可能にするか？
• RQ3 混合トレーニング戦略は、KITTI、Sintel、Middlebury、VIPER などの多様なベンチマークにわたる汎化性能をどの程度向上させるか？
• RQ4 共有された再帰的リファインメントおよび補間アーキテクチャは、フル解像度を含む複数のスケールで性能を維持できるか？
• RQ5 本手法は、挑戦的なベンチマークにおいて、最先端の手法と比較して耐性と正確性の点でどの程度優れているか？

主な発見

• MS-RAFT+ は、2022年ロバストビジョンチャレンジで全体1位を獲得し、他のすべての手法を上回った。
• VIPERベンチマークでは、全体で1位であり、すべてのカテゴリ（昼間、日没、雨、雪、夜間）でも1位を達成し、新たな最先端を樹立した。
• KITTI 2015 では、全体で2位、非隠蔽領域においてRVC参加手法の中で1位を獲得し、CamLiFlow++ と同等の性能を示した。
• Sintel では、小さな変位に対してクリーンおよびファイナルシーケンスの両方で1位を達成し、RVCランクで全体で2位であった。
• Middlebury では、全体で2位、RVC手法の中で2位を達成したが、Middleburyのトレーニングデータを使用していないにもかかわらず、強力な汎化性能を示した。
• 冷間初期化（cold warm-start）を用いた場合、Sintel（クリーン）ではEPE（エンドポイント誤差）を1.23に低下させ、Sintel（ファイナル）では2.68にまで低下させ、冷間初期化との比較で顕著な改善を示した。