[论文解读] Multi-View Deep Learning for Consistent Semantic Mapping with RGB-D Cameras

Lingni Ma, Jörg Stückler+2 more|arXiv (Cornell University)|Mar 26, 2017

Robotics and Sensor-Based Localization参考文献 30被引用 18

一句话总结

本文提出了一种基于RGB-D相机的多视角深度学习框架，用于实现一致的语义映射，通过SLAM轨迹将多个视角的特征映射到参考帧，训练CNN以预测视角不变的语义。该方法在NYUDv2数据集上实现了单视角分割和多视角融合分割的最先进性能，通过多尺度监督和多视角一致性训练，特征最大池化方法取得了最佳结果。

ABSTRACT

Visual scene understanding is an important capability that enables robots to purposefully act in their environment. In this paper, we propose a novel approach to object-class segmentation from multiple RGB-D views using deep learning. We train a deep neural network to predict object-class semantics that is consistent from several view points in a semi-supervised way. At test time, the semantics predictions of our network can be fused more consistently in semantic keyframe maps than predictions of a network trained on individual views. We base our network architecture on a recent single-view deep learning approach to RGB and depth fusion for semantic object-class segmentation and enhance it with multi-scale loss minimization. We obtain the camera trajectory using RGB-D SLAM and warp the predictions of RGB-D images into ground-truth annotated frames in order to enforce multi-view consistency during training. At test time, predictions from multiple views are fused into keyframes. We propose and analyze several methods for enforcing multi-view consistency during training and testing. We evaluate the benefit of multi-view consistency training and demonstrate that pooling of deep features and fusion over multiple views outperforms single-view baselines on the NYUDv2 benchmark for semantic segmentation. Our end-to-end trained network achieves state-of-the-art performance on the NYUDv2 dataset in single-view segmentation as well as multi-view semantic fusion.

研究动机与目标

• 提升RGB-D序列中多视角语义分割的一致性，以支持机器人场景理解。
• 通过自监督方式利用多视角一致性，减少对大规模标注数据的依赖。
• 通过端到端训练与视角不变特征学习，提升单视角分割与多视角融合性能。
• 开发一种适用于集成到基于RGB-D相机的语义SLAM系统的框架。

提出的方法

• 网络基于编码器-解码器架构，RGB与深度特征分别通过独立分支处理，受FuseNet启发，随后进行特征融合与转置卷积上采样。
• 在所有解码器层应用多尺度深度监督，以提升特征学习与定位精度。
• 通过SLAM轨迹估计将多个视角的预测特征图映射到统一参考视角，以强制实现多视角一致性。
• 提出三种多视角一致性训练变体：使用最大池化的特征图映射、基于数据增强的映射，以及训练期间的贝叶斯融合。
• 在测试阶段，利用SLAM轨迹与贝叶斯融合规则，将多个视角的预测结果概率性地融合到关键帧中。
• 训练过程中，使用映射后的预测作为多尺度监督信号，使网络能够学习视角不变的表征。

实验结果

研究问题

• RQ1 与单视角基线相比，多视角一致性训练是否能提升RGB-D序列中的语义分割性能？
• RQ2 在单视角与多视角设置下，通过特征映射、数据增强或贝叶斯融合方式强制多视角一致性，哪种方法性能最佳？
• RQ3 结合多尺度监督与多视角一致性进行端到端训练，是否能在NYUDv2基准上达到最先进结果？
• RQ4 与单视角预测相比，多视角融合在多大程度上提升了分割精度？

主要发现

• 所提出的多视角一致性训练方法，结合映射后特征图的最大池化，在NYUDv2 13类语义分割基准上实现了单视角预测的最先进性能。
• 使用贝叶斯融合的多视角融合方法在所有评估指标上相比单视角预测将分割精度提升了约2%。
• 所有多视角一致性训练方法均显著优于单视角基线（MVCNet-Mono），其中多视角最大池化方法取得了最显著的性能提升。
• 该方法在无需后处理步骤（如密集CRF）的情况下实现了优越性能，而这些步骤在先前工作中被广泛使用。
• 定性结果表明，多视角一致性训练可生成更均匀且准确的分割结果，尤其在物体边界与杂乱场景等挑战性区域表现更优。
• 由于与RGB-D SLAM轨迹兼容且支持端到端训练，该方法在集成到语义SLAM流水线方面展现出强大潜力。