[論文レビュー] Global Matching with Overlapping Attention for Optical Flow Estimation

Shiyu Zhao, L. Zhao+3 more|arXiv (Cornell University)|Mar 21, 2022

Advanced Vision and Imaging被引用数 7

ひとこと要約

本稿では、4次元コストボリューム上のargmaxを用いたグローバルマッチングステップを導入することで、大規模な変位を明示的に処理できる学習ベースのマッチング最適化フレームワーク、GMFlowNetを提案する。パッチベースのオーバーラップ注意（POLA）モジュールにより大規模な文脈特徴を捉え、SintelおよびKITTIベンチマークで最先端の性能を達成しつつ、計算コストの増加を最小限に抑える。

ABSTRACT

Optical flow estimation is a fundamental task in computer vision. Recent direct-regression methods using deep neural networks achieve remarkable performance improvement. However, they do not explicitly capture long-term motion correspondences and thus cannot handle large motions effectively. In this paper, inspired by the traditional matching-optimization methods where matching is introduced to handle large displacements before energy-based optimizations, we introduce a simple but effective global matching step before the direct regression and develop a learning-based matching-optimization framework, namely GMFlowNet. In GMFlowNet, global matching is efficiently calculated by applying argmax on 4D cost volumes. Additionally, to improve the matching quality, we propose patch-based overlapping attention to extract large context features. Extensive experiments demonstrate that GMFlowNet outperforms RAFT, the most popular optimization-only method, by a large margin and achieves state-of-the-art performance on standard benchmarks. Thanks to the matching and overlapping attention, GMFlowNet obtains major improvements on the predictions for textureless regions and large motions. Our code is made publicly available at https://github.com/xiaofeng94/GMFlowNet

研究の動機と目的

• 直接回帰型光流推定手法が、長期的対応関係の明示的モデリングが欠如しているため、大規模な変位を処理する能力に制限を受ける問題に対処すること。
• 大規模な文脈特徴を活用することで、模様のない領域や曖昧な領域におけるマッチング精度を向上させること。
• 伝統的なマッチング最適化パイプラインにインspiredされた、エンドツーエンド学習ベースの最適化にグローバルマッチングステップを統合すること。
• RAFTなどの最先端手法を上回る性能を発揮するが、実用的な推論速度を維持できる、効率的かつ効果的なアーキテクチャを開発すること。

提案手法

• 大規模文脈特徴から構築された4次元コストボリュームに対してargmaxを適用することで、グローバルマッチングステップを導入し、長距離の動き対応関係を明示的にモデリング可能にする。
• パッチとその近隣領域を注目することで大規模な文脈特徴を抽出するパッチベースのオーバーラップ注意（POLA）ブロックを提案し、マッチングにおける曖昧性を低減する。
• 3段階のフレームワークを採用する：(1) 3層の畳み込み層とPOLAブロックを用いた大規模文脈特徴抽出、(2) コストボリューム上のargmaxによるグローバルマッチングと相互マッチングの最適化、(3) RAFTの学習済み更新モジュールを用いた反復的最適化。
• 4次元コストボリュームを用いてフレーム間のピクセル単位の類似度を表現し、CNNで特徴を抽出し、POLAで文脈モデリングを強化する。
• 視覚変換器における標準的なアテンション機構をPOLAに置き換えることで、効率を維持しつつ光流タスクにおける性能を向上させる。
• RAFTに比べて推論時間の増加がたった0.52%にとどまる軽量なグローバルマッチングモジュールを採用し、実用的な効率性を確保する。

実験結果

リサーチクエスチョン

• RQ1 直接回帰型光流ネットワークにグローバルマッチングステップを導入することで、大規模な動きや模様のない領域における性能が著しく向上するか？
• RQ2 標準的な自己アテンションやCNNと比較して、パッチベースのオーバーラップ注意は、光流マッチングにおける局所的曖昧性をどれほど効果的に低減できるか？
• RQ3 学習ベースのマッチング最適化フレームワークは、純粋なエンドツーエンド回帰または最適化専用のベースライン（例：RAFT）を上回る性能を発揮するか？
• RQ4 グローバルマッチングとオーバーラップ注意を追加した際の計算コストはどの程度で、実用的デプロイメントに耐えうるほど効率的か？
• RQ5 特徴抽出器の種別やアテンションブロックの数といったアーキテクチャ選択が、最終的な性能と効率にどのように影響を与えるか？

主な発見

• GMFlowNetはSintelおよびKITTIベンチマークで最先端の性能を達成し、Sintel Cleanでは最終誤差が1.14、KITTIでは4.24を記録し、RAFTを大きく上回る。
• グローバルマッチングモジュールにより、Sintel Finalでは12.6%、KITTIでは6.0%の誤差低減が達成され、大規模な変位の処理における有効性が裏付けられた。
• POLAモジュールは、レイトレースや繰り返しのある領域において、ResNet、Swin Transformer、ViTを上回るマッチング精度を発揮し、広い感受野と局所的文脈の集約によるものである。
• RAFTにグローバルマッチングを追加したRAFT+GMは、Sintel Finalで12.6%、KITTIで6.0%の誤差低減を達成し、性能向上に寄与する直接的要因であることが示された。
• Swinに比べて400万パラメータと0.078秒の推論時間増加があるが、Sintel Cleanでは13.5%、KITTIでは24.9%の性能向上が達成され、追加コストが正当化されることを示した。
• アブレーションスタディにより、初期特徴抽出に3層の畳み込み、6個のPOLAブロックを用いることで、性能と効率の最良のトレードオフが達成されたことが確認された。