[論文レビュー] Cross-view Geo-localization with Evolving Transformer

Hongji Yang, Xiufan Lu+1 more|arXiv (Cornell University)|Jul 2, 2021

Advanced Neural Network Applications参考文献 25被引用数 6

ひとこと要約

本論文は、自己クロスアテンションを用いて層間での特徴の進化を強化し、学習可能な位置埋め込みを用いて幾何的配置をモデル化することで、自己注意機構を活用した新しいトランスフォーマー基盤モデルEgoTRを提案する。このモデルは、強い幾何的仮定を必要とせず、標準的、細分化、およびクロスデータセットのベンチマークで最先端の手法を上回る性能を発揮する。

ABSTRACT

In this work, we address the problem of cross-view geo-localization, which estimates the geospatial location of a street view image by matching it with a database of geo-tagged aerial images. The cross-view matching task is extremely challenging due to drastic appearance and geometry differences across views. Unlike existing methods that predominantly fall back on CNN, here we devise a novel evolving geo-localization Transformer (EgoTR) that utilizes the properties of self-attention in Transformer to model global dependencies, thus significantly decreasing visual ambiguities in cross-view geo-localization. We also exploit the positional encoding of Transformer to help the EgoTR understand and correspond geometric configurations between ground and aerial images. Compared to state-of-the-art methods that impose strong assumption on geometry knowledge, the EgoTR flexibly learns the positional embeddings through the training objective and hence becomes more practical in many real-world scenarios. Although Transformer is well suited to our task, its vanilla self-attention mechanism independently interacts within image patches in each layer, which overlooks correlations between layers. Instead, this paper propose a simple yet effective self-cross attention mechanism to improve the quality of learned representations. The self-cross attention models global dependencies between adjacent layers, which relates between image patches while modeling how features evolve in the previous layer. As a result, the proposed self-cross attention leads to more stable training, improves the generalization ability and encourages representations to keep evolving as the network goes deeper. Extensive experiments demonstrate that our EgoTR performs favorably against state-of-the-art methods on standard, fine-grained and cross-dataset cross-view geo-localization tasks.

研究の動機と目的

• 地上視点と航空視点の間で顕著な外観的・幾何的差異が生じるため、視覚的曖昧性を引き起こすクロスビュー地理局所化の課題に対処すること。
• 局所的なインダクティブバイアスに依存するCNNベースのモデルが、視覚的干渉や複雑なシーンに対して困難を抱えるという限界を克服すること。
• 従来の手法で用いられる強い幾何的仮定（例：方向の整合性）を排除することで、より広範な実世界への適用可能性を実現すること。
• 新しい自己クロスアテンション機構を用いて層間の特徴の進化をモデル化することで、深層トランスフォーマーにおける表現学習を向上させること。

提案手法

• EgoTRは、地上画像と航空画像を処理するための2つの独立したビジョントランスフォーマーブランチを採用し、自己アテンションを用いてグローバルな文脈をモデル化する。
• モデルが幾何的レイアウトの対応関係を理解し、事前の幾何的仮定なしに視覚間の対応を捉えることができる、学習可能な位置符号化を導入する。
• 標準的な自己アテンションに代わって、隣接するトランスフォーマーブロックの特徴間のペアワイズ類似度を計算する、新しい自己クロスアテンション機構を提案する。
• この機構により、層間の情報伝達が向上し、表現の重複が軽減され、特徴表現が深さに沿って段階的に進化するよう促進される。
• 対照的損失を用いて、地上画像と航空画像ペア間のマッチング性能を最適化するように、エンドツーエンドでモデルを訓練する。
• アブレーションスタディにより、自己クロスアテンションと学習可能な位置埋め込みの両者が性能と一般化性能に寄与していることが検証される。

実験結果

リサーチクエスチョン

• RQ1 長距離依存性とグローバルな文脈をモデル化することで、トランスフォーマー基盤アーキテクチャがCNNベースのモデルを上回り得るか？
• RQ2 強い幾何的事前知識を課さずに、学習可能な位置埋め込みがクロスビューの幾何的配置を効果的に捉えることができるか？
• RQ3 各ブロックで独立した自己アテンションを用いるのと比較して、層間のアテンション相互作用が表現品質と学習安定性を向上させるか？
• RQ4 自己クロスアテンション機構は、特に少サンプル学習の場面において、特徴の進化と一般化にどのように影響を与えるか？

主な発見

• CVUSAデータセットにおいて、EgoTRはトップ-1正解率94.05％を達成し、標準的な自己アテンションを用いたベースラインと比較して0.79％の向上を示した。
• 少サンプルクロスビュー地理局所化タスクにおいて、自己アテンションを自己クロスアテンションに置き換えることで、20％、40％、60％の学習データ設定すべてで一貫して性能が向上した。
• コサイン類似度解析の結果、自己クロスアテンションは層間の表現類似度を顕著に低減しており、より明確に進化する特徴表現であることが示された。
• 定性的な分析から、学習された位置埋め込みが相対的な空間オフセットを捉えており、画像中央付近での物体間隔の変化といった視覚的歪みを反映していることが確認された。
• 位置符号化がクロスビューの幾何的整合性を効果的に符号化していることが、極座標変換後のPolar-EgoTRと比較してEgoTRに明確な埋め込みパターンの違いが見られたことから裏付けられた。