[論文レビュー] Attention Concatenation Volume for Accurate and Efficient Stereo Matching

Gangwei Xu, Junda Cheng+2 more|arXiv (Cornell University)|Mar 4, 2022

Advanced Vision and Imaging被引用数 10

ひとこと要約

本論文は、連結特徴量に含まれる冗長な情報を相関に基づく注目重みを用いてフィルタリングする新しいコストボリューム構築法である注目結合ボリューム（ACV）を提案する。これにより、3次元畳み込みによる集約処理にかかる負荷を顕著に低減できる。多段階の自己適応パッチマッチングを統合することで、頑健な類似度推定が可能となり、軽量な集約ネットワークを実現。GwcNetの1/25のパラメータ数で最先端の精度を達成。ACVNetはKITTI 2012/2015で2位、Scene Flowで2位、ETH3Dで3位を達成し、優れた速度性能を示す。

ABSTRACT

Stereo matching is a fundamental building block for many vision and robotics applications. An informative and concise cost volume representation is vital for stereo matching of high accuracy and efficiency. In this paper, we present a novel cost volume construction method which generates attention weights from correlation clues to suppress redundant information and enhance matching-related information in the concatenation volume. To generate reliable attention weights, we propose multi-level adaptive patch matching to improve the distinctiveness of the matching cost at different disparities even for textureless regions. The proposed cost volume is named attention concatenation volume (ACV) which can be seamlessly embedded into most stereo matching networks, the resulting networks can use a more lightweight aggregation network and meanwhile achieve higher accuracy, e.g. using only 1/25 parameters of the aggregation network can achieve higher accuracy for GwcNet. Furthermore, we design a highly accurate network (ACVNet) based on our ACV, which achieves state-of-the-art performance on several benchmarks.

研究の動機と目的

• 連結特徴量に含まれる過剰でフィルタリングされていない情報の冗長性と非効率性を解消すること。
• 新規の多段階自己適応パッチマッチング戦略により、テクスチャが乏しく、コントラストが低い領域における類似度測定の信頼性を向上させること。
• 相関ボリュームから導出された注目重みを用いて連結特徴量をフィルタリングすることで、コスト集約の計算負荷を低減すること。
• 多様なステレオマッチングネットワークに汎用的に統合可能な、注目強化型のコストボリュームモジュール（ACV）を設計すること。
• 最小限の推論コストで最先端の性能を達成し、実世界および合成データのベンチマークにわたる強力な一般化性能を示すこと。

提案手法

• 左・右の特徴マップから初期の連結ボリュームを構築し、相関ボリュームから導出された注目重みを適用することで、冗長な特徴を抑制する注目結合ボリューム（ACV）を提案する。
• 異なる特徴レベルで、学習可能な自己適応重みを持つ可変サイズのパッチを用いることで、特にテクスチャが乏しい領域においてより正確な類似度測定を実現する多段階自己適応パッチマッチングを導入する。
• 空間的に注意を向ける重みを生成するためのキーとして相関ボリュームを用い、連結ボリューム内のマッチング関連の領域を強調することで、特徴のフィルタリング精度を向上させる。
• 従来の重い3次元畳み込みを注目ベースのフィルタリングに置き換えることで、GwcNetと比較して最大25倍のパラメータ削減を実現する軽量な集約ネットワークを設計する。
• ACVを核とするACVNetを設計。効率的なバックボーンおよび集約モジュールを最適化し、精度と速度の両立を実現する完全なステレオマッチングネットワークを構築する。
• 2段階の訓練戦略を採用：まず合成データ（Scene Flow）で注目モジュールを事前学習し、その後、実世界データ（KITTI、ETH3D）で微調整する。

実験結果

リサーチクエスチョン

• RQ1 相関ボリュームから導出された注目メカニズムは、連結ベースのコストボリュームにおける冗長な情報の抑制に効果的か？
• RQ2 多段階の自己適応パッチマッチングは、テクスチャが乏しく、困難な領域における類似度測定の正確性を向上させられるか？
• RQ3 注目強化型コストボリュームと組み合わせた軽量な集約ネットワークは、最先端の精度を達成できるか？
• RQ4 提案されたACVモジュールは、合成データおよび実世界データを含む多様なステレオマッチングベンチマークに十分に一般化できるか？
• RQ5 ACVベースのネットワークは、特にリアルタイム応用を想定した状況でも、高い精度を維持しながら低遅延を達成できるか？

主な発見

• ACVNetはKITTI 2012およびKITTI 2015ベンチマークで2位、Scene Flowで2位、ETH3Dで3位を達成し、データセット間での優れた一般化性能を示した。
• GwcNetの集約ネットワークパラメータの1/25しか使用しないACVベースのモデルが、28個の3次元畳み込みを用いたGwcNetを上回る精度を達成した。
• GwcNetの結合ボリュームをACVに置き換えた後、4つの3次元畳み込みのみでGwcNetの性能を上回ることができ、計算コストを顕著に低減した。
• KITTIベンチマークではトップ10の手法の中で最も高速であり、わずか0.2秒の実行時間で高い精度を達成した。
• ACVNet-Fastは、リアルタイム性能において最先端を記録し、KittiおよびScene Flowの既存のリアルタイム手法を速度と精度の両面で上回った。
• Scene Flowでは、LEAStereoと比較してEPEを38.4%低減し、33%高速（0.2秒対0.3秒）に実行した。これにより、効率と精度のトレードオフの優位性を実証した。