[论文解读] milliEgo: Single-chip mmWave Radar Aided Egomotion Estimation via Deep Sensor Fusion

Chris Xiaoxuan Lu, Muhamad Risqi U. Saputra+7 more|arXiv (Cornell University)|Jun 3, 2020

Robotics and Sensor-Based Localization被引用 15

一句话总结

milliEgo 提出了一种基于深度学习的系统，通过融合单芯片毫米波雷达与惯性测量单元（IMU）数据，实现鲁棒、实时的6-DOF位姿运动估计，3D轨迹误差漂移仅为1.3%。该系统采用两阶段注意力机制——首先利用自注意力对单传感器特征进行加权，再通过受人类空间感知启发的交叉注意力机制融合毫米波与惯性数据，从而在复杂环境中实现高精度位姿估计。

ABSTRACT

Robust and accurate trajectory estimation of mobile agents such as people and robots is a key requirement for providing spatial awareness for emerging capabilities such as augmented reality or autonomous interaction. Although currently dominated by optical techniques e.g., visual-inertial odometry, these suffer from challenges with scene illumination or featureless surfaces. As an alternative, we propose milliEgo, a novel deep-learning approach to robust egomotion estimation which exploits the capabilities of low-cost mmWave radar. Although mmWave radar has a fundamental advantage over monocular cameras of being metric i.e., providing absolute scale or depth, current single chip solutions have limited and sparse imaging resolution, making existing point-cloud registration techniques brittle. We propose a new architecture that is optimized for solving this challenging pose transformation problem. Secondly, to robustly fuse mmWave pose estimates with additional sensors, e.g. inertial or visual sensors we introduce a mixed attention approach to deep fusion. Through extensive experiments, we demonstrate our proposed system is able to achieve 1.3% 3D error drift and generalizes well to unseen environments. We also show that the neural architecture can be made highly efficient and suitable for real-time embedded applications.

研究动机与目标

• 解决光学传感器失效环境（如低光照或无特征的室内空间）中精确位姿运动估计的挑战。
• 克服单芯片毫米波雷达生成的低分辨率、稀疏点云导致传统点云配准方法脆弱的问题。
• 开发一种鲁棒的端到端深度学习框架，融合毫米波雷达与惯性传感器（及其他潜在传感器）以提升位姿估计性能。
• 实现在低功耗平台（如移动设备和微型机器人）上的实时嵌入式部署。
• 通过引入新颖的两阶段注意力机制，建模传感器间的互补行为，提升传感器融合的鲁棒性。

提出的方法

• 提出专用的毫米波测距子网络，直接从原始或预处理的毫米波点云中回归6-DOF位姿变换，绕过脆弱的点云配准过程。
• 引入两阶段注意力机制：首先通过自注意力机制在每个传感器模态（毫米波雷达与IMU）内部优先关注关键特征，随后通过交叉注意力机制建模传感器间的依赖关系。
• 交叉注意力层受Spence的空间感知模型启发，实现动态、可解释的融合，突出毫米波与惯性传感器之间的互补信息。
• 采用卷积与Transformer组件相结合的混合架构，处理来自毫米波雷达与惯性数据的空间与时间特征。
• 在手持设备与机器人采集的真实轨迹数据上，通过监督学习端到端训练整个网络。
• 针对Jetson TX2等嵌入式平台进行模型优化，确保其适用于移动与可穿戴设备。

实验结果

研究问题

• RQ1 深度神经网络能否在不依赖传统点云配准的前提下，有效从低分辨率、稀疏的毫米波雷达点云中学习位姿运动估计？
• RQ2 如何以增强鲁棒性与准确性的方法融合毫米波雷达与惯性数据，以应对复杂环境挑战？
• RQ3 与现有方法相比，结合自注意力与交叉注意力的两阶段注意力机制是否能提升毫米波辅助测距中的传感器融合性能？
• RQ4 所提系统在未见过的室内环境及真实世界移动平台上的泛化能力如何？
• RQ5 端到端的传感器融合框架能否在低功耗嵌入式系统上高效部署以实现实时运行？

主要发现

• milliEgo在长时间序列中仅表现出1.3%的3D轨迹误差漂移，显著优于基线方法在室内与手持场景下的表现。
• 系统在未见过的环境中表现出良好泛化能力，在办公室、走廊与商业建筑等多种室内场景中均展现出鲁棒性。
• 两阶段注意力机制（尤其是交叉注意力层）提升了融合性能，并实现了更具可解释性与行为一致性的传感器交互。
• 神经网络架构高效，适合实时嵌入式部署，已在Jetson TX2平台上成功实现。
• 通过深度学习实现的毫米波雷达与IMU端到端融合，其精度与鲁棒性均优于现有方法（如SelectiveFusion与DeepTIO）。
• 在低光照与无特征表面等不利条件下，系统仍保持高性能，而视觉-惯性测距系统通常在此类条件下失效。