[論文レビュー] Multiple-environment Self-adaptive Network for Aerial-view Geo-localization

Tingyu Wang, Zhedong Zheng+4 more|arXiv (Cornell University)|Apr 18, 2022

Advanced Image and Video Retrieval Techniques被引用数 7

ひとこと要約

本稿では、天候や照明の変化によって引き起こされるドメインシフトを動的に軽減する、空中視点地理局所化向けの複数環境自己適応型ネットワークMuSe-Netを提案する。Residual SPADEを用いた自己適応特徴抽出器とスタイル抽出ブランチを備えた二重ブランチアーキテクチャを採用することで、University-1652およびCVUSAベンチマークにおいて最先端の性能を達成し、未観測の極端な天候条件への強力な一般化能力を示す。

ABSTRACT

Aerial-view geo-localization tends to determine an unknown position through matching the drone-view image with the geo-tagged satellite-view image. This task is mostly regarded as an image retrieval problem. The key underpinning this task is to design a series of deep neural networks to learn discriminative image descriptors. However, existing methods meet large performance drops under realistic weather, such as rain and fog, since they do not take the domain shift between the training data and multiple test environments into consideration. To minor this domain gap, we propose a Multiple-environment Self-adaptive Network (MuSe-Net) to dynamically adjust the domain shift caused by environmental changing. In particular, MuSe-Net employs a two-branch neural network containing one multiple-environment style extraction network and one self-adaptive feature extraction network. As the name implies, the multiple-environment style extraction network is to extract the environment-related style information, while the self-adaptive feature extraction network utilizes an adaptive modulation module to dynamically minimize the environment-related style gap. Extensive experiments on two widely-used benchmarks, i.e., University-1652 and CVUSA, demonstrate that the proposed MuSe-Net achieves a competitive result for geo-localization in multiple environments. Furthermore, we observe that the proposed method also shows great potential to the unseen extreme weather, such as mixing the fog, rain and snow.

研究の動機と目的

• 雨、霧、雪などの実世界の環境変化による既存の地理局所化モデルの性能低下を解消すること。
• ドローンから衛星画像への検索において、天候および照度の変化に起因するドメインシフトを克服すること。
• 推論時に明示的なドメインラベルを必要としない、環境干渉をフィルタリングする自己適応メカニズムの開発。
• 環境スタイル表現を分離して学習することで、未観測の極端な天候条件でも頑健な地理局所化を実現すること。
• 人間の視覚認知にインspiredされたドメイン不変特徴学習に依存せずに、複数の環境間での一般化を向上させること。

提案手法

• 複数環境スタイル抽出ブランチと自己適応特徴抽出ブランチからなる二重ブランチネットワークの提案。
• 環境スタイル埋め込みに基づいて特徴マップを動的に変調するため、Residual SPADEモジュールを用いてドメインシフト補正を自己適応的に実現。
• メトリック学習と分類損失を用いてエンドツーエンドで学習し、クロスビュー検索性能を最適化。
• データ拡張により、例えば霧、雨、雪などの多様な環境条件を合成し、手動収集を伴わずにトレーニングデータの多様性を向上。
• スタイルとコンテンツ特徴のバランスを効果的にとるため、特定のボトルネック層（S1-B2およびS1-B3）にResidual SPADEを埋め込む。
• 生成的手法を活用して、現実的な環境スタイルを含むトレーニングデータを拡張し、未観測条件に対する耐性を向上。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、空中地理局所化の過程で、霧、雨、雪などの未観測環境条件に動的に適応可能か？
• RQ2 提案された自己適応的特徴学習メカニズムは、環境変動に起因するドメインシフトをどの程度効果的に低減できるか？
• RQ3 コンテンツ特徴から環境スタイルを分離することで、多様な天候条件における一般化性能が向上するか？
• RQ4 ネットワーク内での適応モジュール（例：Residual SPADE）の最適配置は何か？
• RQ5 トレーニング時に観測されていない極端な天候条件にも一般化可能か？また、既存のドメイン一般化手法と比較してどうか？

主な発見

• University-1652データセットにおいて、MuSe-Netは複数の環境条件下で平均平均精度（mAP）72.45%を達成し、ベースライン手法を上回った。
• CVUSAデータセットでは、競争力ある性能を示し、異なるクロスビュー地理局所化ベンチマーク間での転送性を実証した。
• アブレーションスタディの結果、ステージ1の2番目および3番目のボトルネック（S1-B2,B3）にResidual SPADEを配置した場合が最良の性能を示し、平均mAPは72.45%であった。
• 混合した霧、雨、雪といった未観測の極端な天候条件下でも、高い性能を維持しており、強力な一般化能力を示している。
• IBN-Netと比較して、パラメータ数は4.21%増加、FLOPsは39.34%増加にとどまり、計算コストの増加は許容範囲であった。
• 定性的な結果から、モデルはあらゆる環境条件下で関連する地理的領域を一貫して活性化しており、10のテスト条件すべてで真のマッチがトップ1に検出された。