[论文解读] Deep Phase Correlation for End-to-End Heterogeneous Sensor Measurements Matching

Zexi Chen, Xuecheng Xu+2 more|arXiv (Cornell University)|Aug 21, 2020

Robotics and Sensor-Based Localization参考文献 16被引用 7

一句话总结

本文提出深度相位相关网络（DPCN），一种端到端可微分框架，通过将可微分相位相关整合到可学习的特征提取流水线中，实现了异质传感器测量（如LiDAR与卫星图像）的精确、高效匹配。该方法在4-DoF位姿估计（平移、旋转、缩放）任务中达到最先进精度，具备实时推理能力，并在不同场景和光照条件下表现出强泛化能力。

ABSTRACT

The crucial step for localization is to match the current observation to the map. When the two sensor modalities are significantly different, matching becomes challenging. In this paper, we present an end-to-end deep phase correlation network (DPCN) to match heterogeneous sensor measurements. In DPCN, the primary component is a differentiable correlation-based estimator that back-propagates the pose error to learnable feature extractors, which addresses the problem that there are no direct common features for supervision. Also, it eliminates the exhaustive evaluation in some previous methods, improving efficiency. With the interpretable modeling, the network is light-weighted and promising for better generalization. We evaluate the system on both the simulation data and Aero-Ground Dataset which consists of heterogeneous sensor images and aerial images acquired by satellites or aerial robots. The results show that our method is able to match the heterogeneous sensor measurements, outperforming the comparative traditional phase correlation and other learning-based methods. Code is available at https://github.com/jessychen1016/DPCN .

研究动机与目标

• 解决异质传感器测量（如LiDAR与卫星图像）的匹配挑战，传统方法因模态差异和缺乏共享特征而失效。
• 消除位姿估计中对4D相似性变换空间（$\mathbb{SIM}(2)$）的穷举搜索需求，该需求计算成本过高。
• 通过使相位相关可微分，实现特征提取器的端到端训练，使位姿误差可反向传播以优化特征。
• 通过使用可微分、分析式的相关流水线而非黑箱回归，提升泛化能力与可解释性。

提出的方法

• 该方法采用由离散傅里叶变换（DFT）、对数极坐标变换（LPT）和可微分相关（DC）层组成的可微分相位相关流水线，所有层均可训练，实现端到端优化。
• 将位姿匹配问题建模为最小化预测位姿与真实位姿之间的差异，基于频域中的互相关设计可微分评分函数。
• 网络使用两个U-Net编码器从输入图像中提取模态特定的特征，随后通过可微分相关层在$\mathbb{SIM}(2)$中所有可能位姿上计算相似性，无需穷举搜索。
• 整个流水线可微分，支持位姿误差的反向传播，联合优化特征提取器与相关模块。
• 利用相位相关在平移与旋转下的结构不变性，此处将其适配用于基于学习的特征匹配。
• 通过最小化估计位姿与真实位姿之间误差的损失函数进行端到端训练，实现对特征表示的直接优化。

实验结果

研究问题

• RQ1 能否设计一种可微分相位相关模块，实现在无需穷举位姿搜索的情况下，对异质图像匹配进行端到端训练？
• RQ2 当在异质传感器数据上进行训练时，可学习特征提取器在多样化场景与光照条件下的泛化能力如何？
• RQ3 所提出的可微分相关框架在4-DoF位姿估计任务中的精度与效率是否优于传统相位相关及其他基于学习的方法？
• RQ4 与黑箱回归网络相比，基于相关的方法在可解释性方面在多大程度上提升了泛化能力？
• RQ5 该方法是否能在保持高精度的同时实现实时性能，适用于跨模态定位任务？

主要发现

• 在l2sat基准上，DPCN在1米误差范围内实现96.9%的平移精度，显著优于先前方法（DAM：30.1%，QATM：37.5%）的相同阈值。
• 在s2d基准上，DPCN在1米误差范围内的平移精度达到91.3%，显著优于DAM（40.9%）与QATM（36.3%）在相同设置下的表现。
• 在l2sat数据集上，DPCN在1°误差范围内的旋转精度达到98.0%，表明其对异质数据中角度错位具有强鲁棒性。
• 在跨场景泛化方面，DPCN在场景(a)和(b)上训练后，能有效泛化至场景(c)，尽管光照与场景布局发生变化，仍保持超过90%的准确率。
• 模型推理时间低于每帧100ms，实现真正意义上的实时运行，适用于移动机器人定位系统的实际部署。
• 消融研究证实，可微分相关层可有效支持端到端训练，若移除该层，性能显著下降。