[論文レビュー] Simple, Effective and General: A New Backbone for Cross-view Image Geo-localization

Yingying Zhu, Hongji Yang+2 more|arXiv (Cornell University)|Feb 3, 2023

Advanced Image and Video Retrieval Techniques被引用数 11

ひとこと要約

この論文はSAIGを提案する。クロスビュー地理的位置特定のための軽量で注意機構ベースのバックボーンで、畳み込みステム、マルチヘッド自己注意、および単純な空間混合特徴集約を使用し、はるかに少ないパラメータで競争力の結果を達成します。

ABSTRACT

In this work, we aim at an important but less explored problem of a simple yet effective backbone specific for cross-view geo-localization task. Existing methods for cross-view geo-localization tasks are frequently characterized by 1) complicated methodologies, 2) GPU-consuming computations, and 3) a stringent assumption that aerial and ground images are centrally or orientation aligned. To address the above three challenges for cross-view image matching, we propose a new backbone network, named Simple Attention-based Image Geo-localization network (SAIG). The proposed SAIG effectively represents long-range interactions among patches as well as cross-view correspondence with multi-head self-attention layers. The "narrow-deep" architecture of our SAIG improves the feature richness without degradation in performance, while its shallow and effective convolutional stem preserves the locality, eliminating the loss of patchify boundary information. Our SAIG achieves state-of-the-art results on cross-view geo-localization, while being far simpler than previous works. Furthermore, with only 15.9% of the model parameters and half of the output dimension compared to the state-of-the-art, the SAIG adapts well across multiple cross-view datasets without employing any well-designed feature aggregation modules or feature alignment algorithms. In addition, our SAIG attains competitive scores on image retrieval benchmarks, further demonstrating its generalizability. As a backbone network, our SAIG is both easy to follow and computationally lightweight, which is meaningful in practical scenario. Moreover, we propose a simple Spatial-Mixed feature aggregation moDule (SMD) that can mix and project spatial information into a low-dimensional space to generate feature descriptors... (The code is available at https://github.com/yanghongji2007/SAIG)

研究の動機と目的

• クロスビュー地理位置特定のために、厳密なアライメント仮定を緩和した、シンプルでありながら効果的なバックボーンの必要性を動機づける。
• 畳み込みステム、マルチヘッド自己注意、グローバルプーリング/特徴集約戦略を組み合わせた軽量アーキテクチャでSAIGを導入する。
• SAIGが大幅に少ないパラメータと計算要求で競争力のあるまたは最先端の結果を達成することを示す。
• 空間混合特徴集約(SMD)モジュールを提案し、クロスビューの記述子をさらに改善する。
• 半硬サンプルトリップレットとInfoNCEなど、ワンツー多数対応の学習損失が効果的であることを示す。

提案手法

• 局所性を保持しつつオーバーラップするパッチ埋め込みを作成するための畳み込みステム。
• 大規模な特徴整列モジュールに依存せず、長距離のパッチ間関係をモデル化するマルチヘッド自己注意層。
• パラメータを削減しつつ性能を維持するため、注意ブロック内のFFNサブレイヤを排除。
• 空間情報を混合し、より高次元の記述子へ射影する簡易な空間混合特徴集約(SMD)モジュール。
• 狭義の深さ設計の下での2つの軽量SAIG変体（SAIG-Sは11のSA層、SAIG-Dは22のSA層）。
• 学習損失には Semi-Hard Miningを用いた加重ソフトマージントリップレット損失とone-to-manyシナリオのInfoNCE損失を含む。

実験結果

リサーチクエスチョン

• RQ1 畳み込みステムと自己注意を備えたシンプルで一般的なバックボーンが、重い特徴整列モジュールなしで最先端のクロスビュー地理的位置特定手法と同等以上になり得るか。
• RQ2 狭義の深さを持つSAIGアーキテクチャは、パラメータと計算を削減しつつ高い性能を提供するか。
• RQ3 軽量な空間混合特徴集約(SMD)が記述子の品質とクロスビュー対応に与える影響は。
• RQ4 半硬トリップレット損失とInfoNCE損失は、この文脈のワンツー多数のクロスビュー対応に対してどの程度効果的か。
• RQ5 SAIGの変体はジオローカリゼーション以外の画像検索ベンチマークにも転移するか。

主な発見

Model	Backbone	Dim	r@1 CVUSA	r@5 CVUSA	r@10 CVUSA	r@1% CVUSA	r@1 CVACT_val	r@5 CVACT_val	r@10 CVACT_val	r@1% CVACT_val
SAIG-S	SAIG-S	384	88.82	97.17	98.27	99.74	81.39	93.88	95.53	98.44
SAIG-D	SAIG-D	384	90.29	97.71	98.74	99.76	82.40	93.94	95.54	98.49
SAIG-S + SAM	SAIG-S	384	92.69	98.13	98.95	99.84	85.39	95.09	96.52	98.53
SAIG-D + SAM	SAIG-D	384	93.97	98.47	99.09	99.86	86.65	95.25	96.53	98.61

• SAIGは、いくつかのベースラインのパラメータの15.9%しか使わず、6つのクロスビューベンチマークで有利または競合的な性能を達成する。
• SAIG-SとSAIG-Dはモデルサイズと精度のトレードオフを提供し、一般にSAIG-Dがより強い結果を示す。
• SAM（Sharpness-Aware Minimization）の導入によりSAIGの結果がさらに改善され、例: SAIG-D + SAMはCVUSA/CVACTでr@1をより高く達成。
• 提案されたSMDモジュールは性能を向上させ、従来のプーリング手法のプラグアンドプレイ代替を提供する。
• ワンツー多数の対応に特化した損失関数（半硬トリップレットとInfoNCE）は、関連データセットで従来のトリップレット損失を上回る。
• SAIGは標準的な画像検索ベンチマークでも競争力のある性能を示し、良好な一般化を示唆する。