[论文解读] EMPNet: Neural Localisation and Mapping Using Embedded Memory Points

Gil Avraham, Yan Zuo+2 more|arXiv (Cornell University)|Jul 31, 2019

Robotics and Sensor-Based Localization参考文献 45被引用 6

一句话总结

EMPNet 提出了一种端到端可训练的神经网络，用于通过嵌入式记忆点实现同步定位与建图，其中来自 RGB-D 序列的 3D 点嵌入通过密集对应匹配对齐，形成循环的、空间一致的记忆。该方法在合成数据集（VIZDoom）和真实世界数据集（Active Vision Dataset）上均达到最先进性能，与先前方法相比，平均位置误差降低超过 30%。

ABSTRACT

Continuously estimating an agent's state space and a representation of its surroundings has proven vital towards full autonomy. A shared common ground among systems which successfully achieve this feat is the integration of previously encountered observations into the current state being estimated. This necessitates the use of a memory module for incorporating previously visited states whilst simultaneously offering an internal representation of the observed environment. In this work we develop a memory module which contains rigidly aligned point-embeddings that represent a coherent scene structure acquired from an RGB-D sequence of observations. The point-embeddings are extracted using modern convolutional neural network architectures, and alignment is performed by computing a dense correspondence matrix between a new observation and the current embeddings residing in the memory module. The whole framework is end-to-end trainable, resulting in a recurrent joint optimisation of the point-embeddings contained in the memory. This process amplifies the shared information across states, providing increased robustness and accuracy. We show significant improvement of our method across a set of experiments performed on the synthetic VIZDoom environment and a real world Active Vision Dataset.

研究动机与目标

• 开发一种神经框架，通过将过去观测整合到共享且一致的记忆表征中，实现连续的空间感知。
• 解决在动态、真实世界环境中使用 RGB-D 数据进行鲁棒定位与场景表征的挑战。
• 通过跨序列联合优化点嵌入，提升长时程导航中的泛化能力与准确性。
• 通过学习的嵌入实现几何一致性，减少视觉定位中的误差累积。
• 实现记忆增强系统的端到端训练，同时在观测间保持结构对齐。

提出的方法

• 该方法使用短期空间记忆模块（SSMM）存储从 RGB-D 观测中提取的 3D 点嵌入，其中每个点均关联一个学习得到的嵌入向量。
• 点嵌入通过卷积神经网络提取，并投影到深度点上，形成场景的密集且结构化的表征。
• 通过交叉熵优化计算新观测与存储嵌入之间的密集对应矩阵，实现相对位姿估计。
• 系统在 SSMM 中执行嵌入的循环联合优化，通过共享信息增强结构一致性和鲁棒性。
• 该框架采用端到端训练，通过可微分的对应匹配联合优化位姿估计与嵌入优化。
• 通过位姿监督（EMP-Net-Pose）进行正则化，以提升在真实世界噪声数据上的鲁棒性。

实验结果

研究问题

• RQ1 神经网络能否通过可微分的记忆增强架构联合优化定位与建图？
• RQ2 学习得到的点嵌入在长序列 RGB-D 观测中多大程度上能维持结构对齐？
• RQ3 与固定或非优化表征相比，端到端训练嵌入在多大程度上提升了定位准确性？
• RQ4 该方法在真实世界环境中对长序列和具有挑战性的基线任务的泛化能力如何？
• RQ5 在复杂、低纹理场景中，嵌入之间的密集对应匹配是否优于稀疏或仅基于几何的方法？

主要发现

• 在 Active Vision Dataset 上，EMP-Net 将 50 帧序列的平均位置误差（APE）降低至 1150 mm，优于 ORB-SLAM2（3090 mm）、DeepVO（1690 mm）、MapNet（1680 mm）和 ENG（1582 mm）。
• EMP-Net-Pose（采用位姿正则化）在 50 帧序列上实现 APE 1150 mm 和 ATE 360 mm，显著优于次佳基线（MapNet，ATE 601 mm）。
• 在 VIZDoom 合成环境中，EMP-Net 在不断增加的相机基线条件下表现出优越性能，误差更低且对应匹配置信度更高。
• SSMM 中学习到的嵌入表现出空间与语义聚类的混合特性，如通过 k-means 对嵌入向量聚类所显示，且无需显式监督。
• 置信度热图显示，系统对可区分地标（如楼梯、门框）赋予更高置信度，而对低纹理区域（如墙壁、地板）赋予较低置信度。
• 即使在相机基线不断增加的情况下，该方法仍保持高性能，表明对大视角变化具有鲁棒性。