[論文レビュー] Transformer-Guided Convolutional Neural Network for Cross-View Geolocalization

Teng Wang, Shujuan Fan+2 more|arXiv (Cornell University)|Apr 21, 2022

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本論文では、クロスビュー地理局所化のための軽量なTransformerガイド付きCNNアーキテクチャ、TransGCNNを提案する。この手法は、マルチスケールウィンドウTransformerヘッドを用いてCNN特徴を強化し、空間的アテンションモジュールとして機能させる。モデルは、CVUSAで94.12%のトップ1正解率、CVACT_valで84.92%を達成し、最先端の性能を発揮している。パラメータ数は50%未満であり、フレームレートはほぼ2倍に向上している。

ABSTRACT

Ground-to-aerial geolocalization refers to localizing a ground-level query image by matching it to a reference database of geo-tagged aerial imagery. This is very challenging due to the huge perspective differences in visual appearances and geometric configurations between these two views. In this work, we propose a novel Transformer-guided convolutional neural network (TransGCNN) architecture, which couples CNN-based local features with Transformer-based global representations for enhanced representation learning. Specifically, our TransGCNN consists of a CNN backbone extracting feature map from an input image and a Transformer head modeling global context from the CNN map. In particular, our Transformer head acts as a spatial-aware importance generator to select salient CNN features as the final feature representation. Such a coupling procedure allows us to leverage a lightweight Transformer network to greatly enhance the discriminative capability of the embedded features. Furthermore, we design a dual-branch Transformer head network to combine image features from multi-scale windows in order to improve details of the global feature representation. Extensive experiments on popular benchmark datasets demonstrate that our model achieves top-1 accuracy of 94.12\% and 84.92\% on CVUSA and CVACT_val, respectively, which outperforms the second-performing baseline with less than 50% parameters and almost 2x higher frame rate, therefore achieving a preferable accuracy-efficiency tradeoff.

研究の動機と目的

• 地理局所化における地上視点と航空写真の間の大きな視覚的・幾何的差異の課題に対処すること。
• CNNベースの局所特徴とTransformerベースのグローバルコンテキストモデリングを組み合わせることで、特徴表現学習を向上させること。
• 高い精度を維持しながら、モデルサイズと推論時間を顕著に削減する効率的なアーキテクチャを設計すること。
• マルチスケールウィンドウアテンションが、グローバルおよびローカルなコンテキスト手がかりを効果的に捉える方法を検証すること。
• 既存のCNNおよびTransformerベースのモデルと比較して、望ましい精度-効率トレードオフを達成すること。

提案手法

• VGG16ベースのCNNバックボーンを用いて局所特徴を抽出し、軽量なTransformerヘッドを用いてグローバルコンテキストモデリングを行うハイブリッドネットワークアーキテクチャを提案する。
• Transformerヘッドは空間的アテンションを意識した重要度生成器として機能し、最終的な表現に適した顕著なCNN特徴を選択するアテンションマップを学習する。
• マルチスケールウィンドウからの特徴処理を目的としたデュアルブランチのTransformerヘッドを設計：グローバルブランチと非重複垂直分割を用いたパーツレベルブランチ。
• グローバルブランチとパーツレベルブランチの特徴マップを動的に統合し、互いに補完し合い、シーン表現を豊かにする。
• エンベッディング空間におけるクロスビューマッチングを最適化するために、対照的損失を用いてエンドツーエンドで学習する。
• アテンションチャンネル数Kは実験的に調整され、性能最適化のためK=8が選択された。

実験結果

リサーチクエスチョン

• RQ1 軽量なTransformerヘッドは、クロスビュー地理局所化のためのCNNベース特徴を効果的に強化できるか？
• RQ2 標準的なグローバル自己アテンションと比較して、マルチスケールウィンドウアテンションは特徴表現をどのように向上させるか？
• RQ3 精度と効率のバランスを最適化するためのアテンションチャンネル数Kの最適値は何か？
• RQ4 提案手法は、顕著に少ないモデルサイズと高速な推論で最先端の性能を達成できるか？
• RQ5 視覚的差が顕著なハードネガティブサンプルにおいて、モデルの性能はいかがなっているか？

主な発見

• CVUSAベンチマークでは、94.12%のトップ1正解率を達成し、2番目に優れたベースラインを上回った。
• CVACT_valデータセットでは、84.92%のトップ1正解率を達成し、困難な実世界データにおいても強力な一般化性能を示した。
• 2番目に性能の優れたベースラインの50%未満のパラメータ数を用いており、モデル効率が顕著に向上した。
• 2番目に優れたモデルのほぼ2倍のフレームレートを達成しており、優れた精度-効率トレードオフを実現した。
• アブレーションスタディの結果、アテンションチャンネル数Kを1から8に増加させることで、r@1が9.73ポイント向上したが、K=4を超えると効果の逓減が見られた。
• 可視化により、モデルが道路や建物といった顕著な構造に注目しているのを確認した。これに対して、ベースライン手法は主に前景と背景の区別に注目している。