[論文レビュー] TransGeo: Transformer Is All You Need for Cross-view Image Geo-localization

Sijie Zhu, Mubarak Shah+1 more|arXiv (Cornell University)|Mar 31, 2022

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

TransGeoは、極座標変換やデータ拡張に依存しない、完全にトランスフォーマーに基づく手法を提案する。注目メカニズムを用いた非一様なクロッピングにより、情報量の多い画像パッチに計算リソースを集中させ、それらの領域での解像度を向上させることで、CNNベースの手法と比較して顕著に少ないFLOPsと推論時間で最先端の性能を達成する。

ABSTRACT

The dominant CNN-based methods for cross-view image geo-localization rely on polar transform and fail to model global correlation. We propose a pure transformer-based approach (TransGeo) to address these limitations from a different perspective. TransGeo takes full advantage of the strengths of transformer related to global information modeling and explicit position information encoding. We further leverage the flexibility of transformer input and propose an attention-guided non-uniform cropping method, so that uninformative image patches are removed with negligible drop on performance to reduce computation cost. The saved computation can be reallocated to increase resolution only for informative patches, resulting in performance improvement with no additional computation cost. This "attend and zoom-in" strategy is highly similar to human behavior when observing images. Remarkably, TransGeo achieves state-of-the-art results on both urban and rural datasets, with significantly less computation cost than CNN-based methods. It does not rely on polar transform and infers faster than CNN-based methods. Code is available at https://github.com/Jeff-Zilence/TransGeo2022.

研究の動機と目的

• 極座標変換に依存し、グローバル相関モデリングに苦労するCNNベースのクロスビュー地理解析手法の限界を解消すること。
• 視覚トランスフォーマーのグローバルモデリング能力と明示的な位置符号化機能を活用し、地理解析性能を向上させること。
• 性能を損なわず、情報のない画像パッチを回避する柔軟で計算効率の良い手法を開発すること。
• 注目マップに基づく適応的で非一様なクロッピングにより、推論を高速化し、メモリ使用量を削減すること。
• ドメイン特化の前処理やデータ拡張なしに、純トランスフォーマーがCNNを上回ることを実証すること。

提案手法

• CNNを置き換え、極座標変換の必要を排除する、完全なビジョントランスフォーマーのアーキテクチャ（TransGeo）を提案し、クロスビュー画像地理解析を実現する。
• 画像パッチ間の空間的関係を明示的に符号化するため、学習可能な2次元位置埋め込みを導入し、幾何的対応学習を向上させる。
• 注目マップを用いた非一様クロッピングを採用：モデルは最後のトランスフォーマーエンコーダ層から注目マップを計算し、情報量の多いパッチを特定。その後、これらの領域でのみ解像度を向上させる。
• 情報のないパッチからの計算リソースを節約し、重要な領域での高解像度処理に再配分することで、追加のFLOPsなしに性能向上を実現する。
• 一般化性能を向上させ、特に中規模データセットで過学習を軽減するために、適応的シャープネス認識最小化（ASAM）を適用する。
• 2段階のトレーニングパイプラインを採用：まずフル入力を用いて学習し、次に注目マップに従ってクロップおよびズームインしたパッチで微調整する。

実験結果

リサーチクエスチョン

• RQ1 極座標変換に依存しない純トランスフォーマー手法が、CNNベースの手法を上回ることができるか？
• RQ2 注目マップを効果的に用いて非一様クロッピングを誘導することで、計算量を削減しつつ性能を維持または向上させることができるか？
• RQ3 ビジョントランスフォーマーに学習可能な位置埋め込みを適用することで、ドメインギャップが大きい状況下でのクロスビュー地理解析性能が向上するか？
• RQ4 情報のないパッチを削除することで得られる計算リソースを、情報量の多い領域での解像度向上に再配分することで、追加のFLOPsなしに性能向上が達成できるか？
• RQ5 提案された「注目してズームインする」戦略は、人間の視覚的注意と比較してどのように機能するか？

主な発見

• TransGeoは都市部（CVUSA）および農村部（VIGOR）の両データセットで最先端の性能を達成し、SAFAなどの先行CNNベース手法を上回る。
• CVUSAでは320x320解像度、0.64のパッチ保持率でR@1が94.08%を達成し、ベースラインより1.0%向上、FLOPsも削減された。
• VIGORでは36%のパッチ（β=0.64）を削除してもR@1が0.36%低下にとどまり、CVUSAでは0.1%低下にとどまる。これは情報のないパッチを安全に除外できることを証明している。
• 選択されたパッチの解像度を1.56倍（γ=1.56）に引き上げることで、ベースラインと比較してCVUSAのR@1が1.0%向上したが、合計FLOPsは増加しなかった。
• 学習可能な位置埋め込みは、固定された正弦波埋め込みを大きく上回り、CVUSAではR@1を42.72%から93.18%まで向上させた。これはクロスビューアライメントにおいて重要な役割を果たしていることを示している。
• 可視化により、特に深層部のレイヤーで強いグローバル相関学習が行われていることが確認され、トランスフォーマーが視覚間の長距離依存関係を効果的にモデリングできることを裏付けた。