[論文レビュー] Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching

Yujiao Shi, Xin Yu+2 more|arXiv (Cornell University)|May 8, 2020

Advanced Image and Video Retrieval Techniques参考文献 21被引用数 10

ひとこと要約

本論文は、動的類似度マッチング（DSM）ネットワークを用いて、空中画像と地上画像の間のドメインギャップを低減し、方位角に沿って地上画像と変換された空中画像の特徴を相関させることで、クロスビュー地理局所化における位置と姿勢の共同推定手法を提案する。この手法により、CVUSAデータセットにおける未知の姿勢を持つ180° FoV画像では、トップ1の位置再現率が最大6倍向上した。

ABSTRACT

Cross-view geo-localization is the problem of estimating the position and orientation (latitude, longitude and azimuth angle) of a camera at ground level given a large-scale database of geo-tagged aerial (e.g., satellite) images. Existing approaches treat the task as a pure location estimation problem by learning discriminative feature descriptors, but neglect orientation alignment. It is well-recognized that knowing the orientation between ground and aerial images can significantly reduce matching ambiguity between these two views, especially when the ground-level images have a limited Field of View (FoV) instead of a full field-of-view panorama. Therefore, we design a Dynamic Similarity Matching network to estimate cross-view orientation alignment during localization. In particular, we address the cross-view domain gap by applying a polar transform to the aerial images to approximately align the images up to an unknown azimuth angle. Then, a two-stream convolutional network is used to learn deep features from the ground and polar-transformed aerial images. Finally, we obtain the orientation by computing the correlation between cross-view features, which also provides a more accurate measure of feature similarity, improving location recall. Experiments on standard datasets demonstrate that our method significantly improves state-of-the-art performance. Remarkably, we improve the top-1 location recall rate on the CVUSA dataset by a factor of 1.5x for panoramas with known orientation, by a factor of 3.3x for panoramas with unknown orientation, and by a factor of 6x for 180-degree FoV images with unknown orientation.

研究の動機と目的

• 位置と姿勢の両方が未知の状況におけるクロスビュー地理局所化の課題に対処すること。
• 地上画像と空中画像の間の極端な視点の違いに起因する大きなドメインギャップを低減すること。
• 地上画像の視野（FoV）が限定的で姿勢が不明な状況に起因する局所化のあいまいさを軽減すること。
• クロスビュー相関を通じて位置と姿勢を共同で推定することで、特徴マッチングの正確性を向上させること。
• 事前に姿勢が入手できない実世界のシナリオにおいても、頑健な局所化を可能にすること。

提案手法

• 空中画像に極座標変換を適用して、地上ビューの幾何構造に概ね一致させ、ドメインギャップを低減すること。
• 地上画像と極座標変換済み空中画像から深層特徴を抽出するために、二本のストリームを持つ畳み込みニューラルネットワークを用いること。
• 方位角方向にクロスビュー特徴間の相関を計算する動的類似度マッチング（DSM）モジュールを実装し、姿勢を推定すること。
• 推定された姿勢に基づいて空中特徴をずらしてクロップすることで、特徴の類似性と位置検索の正確性を向上させること。
• 相関ピークを姿勢の推定値とし、特徴距離を計算して位置マッチングを行うこと。
• 幾何的関係を局所化に不可欠な要素として保持する空間的に意識された特徴ボリュームを活用すること。

実験結果

リサーチクエスチョン

• RQ1 姿勢が未知の状況下でも、位置と姿勢を共同で推定することで、クロスビュー地理局所化の性能が向上するか？
• RQ2 極座標変換は、地上ビューと空中ビューの間のドメインギャップをどれほど効果的に低減できるか？
• RQ3 視野（FoV）が制限された状況において、姿勢に配慮した特徴マッチングは、あいまいさをどの程度軽減できるか？
• RQ4 方位角に沿った相関ベースのアプローチは、地上画像の姿勢を正確に推定できるか？
• RQ5 さまざまな視野（FoV）と姿勢条件下で、トップ1再現率の観点から、本手法は最先端の手法と比較してどの程度優れているか？

主な発見

• 360° FoVのパノラマで姿勢が既知の状況では、CVUSAデータセットでトップ1の位置再現率が1.5倍向上した。
• 姿勢が未知のパノラマでは、最先端手法と比較してトップ1再現率が3.3倍向上した。
• 180° FoVの画像で姿勢が未知の状況では、トップ1再現率の向上が最大6倍に達した。
• CVUSAデータセットにおいて、360° FoV画像では姿勢予測の正確度が99.41%、70° FoV画像では61.67%であった。
• 全FoV設定において中央値の姿勢誤差が5°未満であり、姿勢推定の高精度を示している。
• 定性的な結果から、小口径のFoV画像に対しても正確な位置と姿勢の共同推定が可能であり、相関ピークが正解とよく一致していることが確認された。