[論文レビュー] ASpanFormer: Detector-Free Image Matching with Adaptive Span Transformer

Hongkai Chen, Zixin Luo+7 more|arXiv (Cornell University)|Aug 30, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

ASpanFormerは、流れの不確実性に基づいて動的に調整される適応的注意スパンを備えた階層的トランスフォーマーを用いた、検出器に依存しない画像マッチング手法を提案する。流れマップの回帰と不確実性の推定により文脈サイズを決定することで、ポーズ推定および視覚的局所化ベンチマークで最先端の性能を達成し、検出器を用いる手法および先行の検出器に依存しない手法を上回る。

ABSTRACT

Generating robust and reliable correspondences across images is a fundamental task for a diversity of applications. To capture context at both global and local granularity, we propose ASpanFormer, a Transformer-based detector-free matcher that is built on hierarchical attention structure, adopting a novel attention operation which is capable of adjusting attention span in a self-adaptive manner. To achieve this goal, first, flow maps are regressed in each cross attention phase to locate the center of search region. Next, a sampling grid is generated around the center, whose size, instead of being empirically configured as fixed, is adaptively computed from a pixel uncertainty estimated along with the flow map. Finally, attention is computed across two images within derived regions, referred to as attention span. By these means, we are able to not only maintain long-range dependencies, but also enable fine-grained attention among pixels of high relevance that compensates essential locality and piece-wise smoothness in matching tasks. State-of-the-art accuracy on a wide range of evaluation benchmarks validates the strong matching capability of our method.

研究の動機と目的

• トランスフォーマーに基づく画像マッチングにおける固定受容 field を有する注意の制限を是正すること。特に、模様のない領域や隠蔽領域での性能向上を目的とする。
• キーポoinト検出器に依存しないことで、より豊かな文脈を備えた生画像から直接的に密な対応関係予測を可能にすること。
• 局所的なマッチングの不確実性に基づいて注意スパンを適応的に調整することで、マッチング精度と局所化精度を向上させること。
• 多様なマッチングシナリオにわたるロバストな性能を実現するため、長距離のグローバルな文脈認識と細粒度のローカル注意のバランスをとること。

提案手法

• 低解像度での粗いグローバル注意と高解像度での細かいローカル注意を実行する階層的グローバルローカル注意（GLA）ブロックを導入する。
• 各クロス注意フェーズで流れの回帰を実行し、ローカル注意の検索領域の中心を予測する。
• 確率的ガウスモデルを用いて、流れ予測のパラメータ（平均と分散）からピクセル単位の不確実性を推定する。
• 不確実性に基づいて注意スパンのサイズを調整する：高信頼度で模様のある領域では小さく、不確実性が高く模様のない領域では大きくする。
• 流れの精度と不確実性推定を同時に最適化する微分可能損失を適用し、信頼度の高い予測において不確実性を低く保つように促進する。
• 流れ予測の中心周辺のサンプリンググリッドを用い、推定された不確実性に基づいてスパンサイズを決定することで、関連する領域に注目する。

実験結果

リサーチクエスチョン

• RQ1 固定サイズまたはグローバル注意と比較して、適応的注意スパンは模様のない領域や隠蔽領域におけるマッチング精度を向上させるか？
• RQ2 不確実性に配慮した文脈選択は、困難なシナリオにおけるトランスフォーマーに基づく画像マッチングのロバスト性にどのように影響するか？
• RQ3 検出器に依存しないエンドツーエンドのマッチングネットワークは、2視点ポーズ推定において最先端の検出器を用いる手法をどの程度上回るか？
• RQ4 提案された不確実性駆動の注意メカニズムは、実世界および合成データセットを含む多様なベンチマークで一般化可能か？

主な発見

• 2視点ポーズ推定においてYFCC100Mで44.5%のAUCを達成し、LoFTR（42.4%）および他のSOTAベースラインを上回った。
• IMC 2022ベンチマークでは、プライベートで0.838 mAA、パブリックで0.833 mAAを達成し、QuadTree注意（0.817/0.812）およびLoFTR（0.783/0.772）を上回った。
• 定性的な結果から、模様のある領域では小さなスパンで鋭い注目が行われ、不確実性が高いか隠蔽領域では大きなスパンが使用され、誤検出が回避されていることが示された。
• 流れマップはGLAブロックの反復処理を経るごとに徐々に正確になり、重複のない領域が削除されるようになり、特徴の精錬が進んでいることが示された。
• 不確実性ヒートマップと適応的スパンは、低模様または曖昧な領域に大きな文脈を割り当てていることを示しており、ロバストネスの向上が確認された。
• キーポイント検出器を一切用いずに、密で高精度な対応関係を生成でき、大規模な視点変化や繰り返しパターンのような極端な条件下でも有効であることが証明された。