[论文解读] Fine-Grained Cross-View Geo-Localization Using a Correlation-Aware Homography Estimator

Xiaolong Wang, Runsen Xu+3 more|arXiv (Cornell University)|Aug 31, 2023

Robotics and Sensor-Based Localization被引用 4

一句话总结

该论文提出HC-Net，一种用于细粒度跨视角地理定位的端到端方法，通过几何约束的球面变换将地面全景图像投影为鸟瞰图，使其与GPS标记的卫星图像对齐。随后，相关性感知的单应性估计器实现精确的2D图像对齐，达到亚像素精度和30 FPS推理速度，在VIGOR基准的同区域和跨区域划分上，分别将平均定位误差降低21.3%和32.4%。

ABSTRACT

In this paper, we introduce a novel approach to fine-grained cross-view geo-localization. Our method aligns a warped ground image with a corresponding GPS-tagged satellite image covering the same area using homography estimation. We first employ a differentiable spherical transform, adhering to geometric principles, to accurately align the perspective of the ground image with the satellite map. This transformation effectively places ground and aerial images in the same view and on the same plane, reducing the task to an image alignment problem. To address challenges such as occlusion, small overlapping range, and seasonal variations, we propose a robust correlation-aware homography estimator to align similar parts of the transformed ground image with the satellite image. Our method achieves sub-pixel resolution and meter-level GPS accuracy by mapping the center point of the transformed ground image to the satellite image using a homography matrix and determining the orientation of the ground camera using a point above the central axis. Operating at a speed of 30 FPS, our method outperforms state-of-the-art techniques, reducing the mean metric localization error by 21.3% and 32.4% in same-area and cross-area generalization tasks on the VIGOR benchmark, respectively, and by 34.4% on the KITTI benchmark in same-area evaluation.

研究动机与目标

• 解决因卫星图像片段分割导致的粗粒度跨视角定位方法中存在数十米误差的问题。
• 克服基于采样和描述子分割方法在细粒度地理定位中计算成本高且分辨率低的局限。
• 实现在无需先前姿态估计或大量数据增强的前提下，实现高精度、实时定位。
• 通过引入相关性感知单应性估计模块，降低对密集匹配点监督的依赖。
• 在无需微调的情况下，提升在多样化城市环境（包括未见城市）中的泛化能力。

提出的方法

• 对地面全景图像应用可微分的球面变换，将其投影为鸟瞰图（BEV），利用地面相机成像模型使视角与卫星图像对齐。
• 球面变换使变换后的地面图像与卫星图像之间可直接进行2D图像对齐，将问题简化为几何对齐任务。
• 相关性感知单应性估计器使用循环卷积神经网络，最大化特征图中相似区域的相关性，同时抑制不可见或遮挡区域。
• 通过端到端直接学习单应性矩阵，避免迭代优化，减少对四点匹配监督的依赖。
• 网络输出单应性矩阵，将BEV中心映射至卫星图像，实现精确的GPS定位与偏航角估计。
• 采用非共享权重的伪孪生主干网络分别处理地面和卫星图像，提升特征表示学习能力。

实验结果

研究问题

• RQ1 可微分球面变换是否能有效弥合地面视图与航拍视图之间的域差距，以实现跨视角定位？
• RQ2 相关性感知单应性估计器是否能在遮挡或重叠度低的场景下优于传统基于特征的方法？
• RQ3 所提方法在同区域和跨区域泛化场景下，是否在精度和推理速度上均优于当前最先进方法？
• RQ4 模型是否能在未见城市上实现良好泛化，如在CVUSA数据集上所展示的那样？
• RQ5 缺乏四点匹配监督在多大程度上影响单应性估计的精度？

主要发现

• 与最先进方法相比，HC-Net在VIGOR基准的同区域划分上将平均定位误差降低21.3%，在跨区域划分上降低32.4%。
• 在KITTI基准上，该方法在同区域评估中，相比CCVPE将平均误差降低34.4%，且在±10°方向先验条件下表现更优。
• 模型推理速度达30 FPS，计算效率高，仅需11.21M参数和1900 MiB显存。
• 消融实验表明，与共享权重相比，伪孪生主干网络将平均误差降低0.71m。
• 将单应性模块替换为SuperGlue或LoFTR后，平均误差分别上升至13.06m和28.85m，证明了所提模块的优越性。
• 模型在未见城市上泛化良好，无需微调即可成功将CVUSA中的BEV投影与卫星图像对齐。