[论文解读] DeLS-3D: Deep Localization and Segmentation with a 3D Semantic Map

Peng Wang, Ruigang Yang+3 more|arXiv (Cornell University)|May 13, 2018

Robotics and Sensor-Based Localization参考文献 41被引用 6

一句话总结

本文提出 DeLS-3D，一种统一的深度学习框架，通过融合 RGB 视频、GPS/IMU 和 3D 语义地图，联合完成 6-DOF 相机位姿估计与语义分割。通过姿态卷积神经网络（CNN）和循环神经网络（RNN）对多模态数据进行融合与优化，再结合渲染标签图引导的分割卷积神经网络，系统实现了实时性能（姿态估计 10ms，分割 90ms），像素准确率达 96%，姿态误差低于 1 度，充分展示了定位与解析任务之间的相互增益。

ABSTRACT

For applications such as autonomous driving, self-localization/camera pose estimation and scene parsing are crucial technologies. In this paper, we propose a unified framework to tackle these two problems simultaneously. The uniqueness of our design is a sensor fusion scheme which integrates camera videos, motion sensors (GPS/IMU), and a 3D semantic map in order to achieve robustness and efficiency of the system. Specifically, we first have an initial coarse camera pose obtained from consumer-grade GPS/IMU, based on which a label map can be rendered from the 3D semantic map. Then, the rendered label map and the RGB image are jointly fed into a pose CNN, yielding a corrected camera pose. In addition, to incorporate temporal information, a multi-layer recurrent neural network (RNN) is further deployed improve the pose accuracy. Finally, based on the pose from RNN, we render a new label map, which is fed together with the RGB image into a segment CNN which produces per-pixel semantic label. In order to validate our approach, we build a dataset with registered 3D point clouds and video camera images. Both the point clouds and the images are semantically-labeled. Each video frame has ground truth pose from highly accurate motion sensors. We show that practically, pose estimation solely relying on images like PoseNet may fail due to street view confusion, and it is important to fuse multiple sensors. Finally, various ablation studies are performed, which demonstrate the effectiveness of the proposed system. In particular, we show that scene parsing and pose estimation are mutually beneficial to achieve a more robust and accurate system.

研究动机与目标

• 解决在重复结构或低纹理等视觉条件挑战下，纯图像方法在相机定位与场景解析方面的局限性。
• 通过融合多传感器数据（RGB 图像、GPS/IMU 和 3D 语义地图），提升室外机器人导航与增强现实应用中的鲁棒性与精度。
• 开发一种统一的深度学习框架，通过跨任务监督使姿态估计与语义分割相互促进。
• 构建并发布一个高质量的真实世界数据集，包含密集的 3D 语义点云、真实相机位姿以及视频帧的像素级语义标签。
• 证明通过 RNN 进行时序建模以及使用渲染标签图作为监督信号，能显著提升姿态估计与分割性能。

提出的方法

• 利用消费级 GPS/IMU 初始粗略估计相机位姿，并据此从 3D 语义地图中渲染出 2D 语义标签图。
• 姿态卷积神经网络（CNN）融合渲染标签图与 RGB 图像，利用语义上下文信息提升定位精度。
• 多层 RNN 对一系列优化后的位姿进行处理，通过循环建模增强时序一致性和准确性。
• 将 RNN 输出的最终位姿用于渲染更精确的标签图，再与 RGB 图像融合输入分割卷积神经网络（CNN），实现像素级语义标注。
• 系统采用统一的训练与推理流程，姿态网络与分割网络通过相互监督实现端到端联合优化。
• 构建了一套新数据集，使用高精度 Riegl 激光雷达获取 3D 语义点云，并同步采集带有真实位姿与像素级标签的视频。

实验结果

研究问题

• RQ1 将 3D 语义地图与 RGB 视频及 GPS/IMU 信号相结合，是否能显著提升在视觉模糊的室外环境中相机定位的鲁棒性？
• RQ2 与纯图像方法相比，3D 地图提供的语义引导在多大程度上能提升 6-DOF 相机位姿估计的精度与时序一致性？
• RQ3 在联合定位与分割框架中，使用循环神经网络对视频序列中的位姿估计进行优化，其有效性如何？
• RQ4 将渲染的语义标签图作为监督信号，是否能提升语义分割网络的性能，特别是对细粒度或稀有物体类别？
• RQ5 姿态估计与语义分割能否通过联合优化获得优于独立求解的结果？

主要发现

• 系统在单张 Titan Z GPU 上实现实时性能，姿态估计推理时间仅 10ms，512×608 图像的分割耗时 90ms。
• 使用 RNN 优化后的姿态估计误差低于 1 度，证明在复杂城市环境中具备高精度。
• 语义分割在不进行模型压缩的情况下达到 96% 的像素准确率，使用姿态引导的标签图后，边界细节与稀有类别检测能力显著提升。
• 消融实验表明，使用真实位姿渲染标签图可使 Zpark 数据集的 mIOU 提升至 73.10，表明性能上限较强。
• 与仅使用姿态 CNN 相比，RNN 优化后的姿态使 Zpark 数据集的 mIOU 提升 10%，尤其显著改善了电线杆、标识牌等细长结构物体的识别。
• 可视化结果表明，姿态优化有效减少了错位与边界误差，显著提升了物体布局一致性与细节恢复能力。