[論文レビュー] GeoCapsNet: Aerial to Ground view Image Geo-localization using Capsule Network

Bin Sun, Chen Chen+2 more|arXiv (Cornell University)|Apr 12, 2019

Advanced Image and Video Retrieval Techniques参考文献 2被引用数 7

ひとこと要約

GeoCapsNetは、階層的特徴符号化とオンラインバッチハードマイニングを伴う重み付きソフトマージントリプルトロスを用いて、地上視点画像とGPSタグ付き航空画像を照合する、キャプセルネットワークに基づくアプローチを提案する。2つのベンチマークデータセットにおいて最先端の性能を達成し、先行手法に比べて顕著に優れたリtrieval精度を示した。

ABSTRACT

The task of cross-view image geo-localization aims to determine the geo-location (GPS coordinates) of a query ground-view image by matching it with the GPS-tagged aerial (satellite) images in a reference dataset. Due to the dramatic changes of viewpoint, matching the cross-view images is challenging. In this paper, we propose the GeoCapsNet based on the capsule network for ground-to-aerial image geo-localization. The network first extracts features from both ground-view and aerial images via standard convolution layers and the capsule layers further encode the features to model the spatial feature hierarchies and enhance the representation power. Moreover, we introduce a simple and effective weighted soft-margin triplet loss with online batch hard sample mining, which can greatly improve image retrieval accuracy. Experimental results show that our GeoCapsNet significantly outperforms the state-of-the-art approaches on two benchmark datasets.

研究の動機と目的

• 地上視点画像と航空画像の間で顕著な視点差が生じるクロスビュー画像地理位置特定の課題に対処すること。
• 地理位置特定において空間階層構造と視点不変性をモデル化する伝統的なCNNの限界を克服すること。
• キャプセルネットワークが空間的関係を符号化できる能力を活用して、クロスビュー画像照合のための特徴表現学習を向上させること。
• オンラインバッチハードサンプルマイニングを組み込んだ新しい損失関数により、モデルの汎化性能とリtrieval精度を向上させること。
• 大規模な地理位置特定アプリケーションに適した、コンactかつ効率的なモデルを開発すること。

提案手法

• 地上視点画像および航空画像の両方から初期特徴を抽出するために、標準的な畳み込み層を用いる。
• 階層的な空間的関係を符号化し、特徴表現のロバスト性を向上させるために、キャプセル層（PrimaryCapsとGeoCaps）を採用する。
• オンラインバッチハードマイニングを組み込んだ重み付きソフトマージントリプルトロスを導入し、特徴埋め込み空間を最適化する。
• 各訓練バッチ内で最も困難な正例および負例ペアを選択することで、バッチハードマイニングを実施し、マージン学習を改善する。
• ペアドされたクロスビュー画像（一致するものと一致しないもの）を用いて、エンドツーエンドのネットワークを訓練し、クラス内距離を最小化し、クラス間距離を最大化する。
• 両ブランチのキャプセル層で共有重みスキームを適用することで、クロスビュー関係の一貫性ある学習を促進する。

実験結果

リサーチクエスチョン

• RQ1 標準的なCNNと比較して、キャプセルネットワークはクロスビュー画像地理位置特定のための特徴表現を向上させることができるか？
• RQ2 オンラインバッチハードサンプルマイニングは、地理位置特定モデルの汎化性能とリtrieval精度を向上させるのにどの程度効果的か？
• RQ3 キャプセルネットワークの階層的空間符号化能力は、視点不変な画像照合においてより優れた性能をもたらすか？
• RQ4 提案された重み付きソフトマージントリプルトロスは、標準的なトリプルトロスやシアンス損失に比べて、どの程度クロスビュー照合で優れているか？
• RQ5 キャプセルベースのアーキテクチャは、既存のモデルに比べてパラメータ数を減らし、特徴コード長を短くすることで、最先端の性能を達成できるか？

主な発見

• GeoCapsNet-IIはCVUSAデータセットでTop-1%リ call 1.07%の精度を達成し、以前の最先端手法CVM-Net（Top-1で34.56%）を顕著に上回った。
• 同じデータセットにおいて、GeoCapsNet-IIはCVM-Netに比べてTop-1リ call 20.53ポイント向上させ、顕著な性能向上を示した。
• アブレーションスタディの結果、キャプセル層が特徴の識別性を顕著に向上させていることが確認され、全結合層に置き換えた場合、Top-1%リ call が20.14ポイント低下した。
• バッチハードマイニングは性能向上に大きく寄与し、標準的な重み付きソフトマージントリプルトロスに比べてTop-1%リ call が12.2ポイント向上した。
• GeoCapsNet-IとGeoCapsNet-IIのパラメータ数はそれぞれ64.9Mおよび82.8Mであり、CVM-Net（160.3M）の半分にまで減少し、よりコンパクトなモデルを実現した。
• GeoCapsNetの特徴コード長は2048であり、CVM-Netの4096の半分にまで短縮されており、実用的な画像リtrievalにおいてより高速かつ効率的である。