[论文解读] DA-RNN: Semantic Mapping with Data Associated Recurrent Neural Networks

Xiang Yu, Dieter Fox|arXiv (Cornell University)|Mar 9, 2017

Human Pose and Action Recognition参考文献 29被引用 6

一句话总结

本文提出DA-RNN，一种数据关联的循环神经网络，通过利用时间数据关联，在RGB-D视频中联合执行3D场景重建与语义标注，实现对可见场景部分的空间一致性、循环推理。该方法通过将RNN的语义标签集成到KinectFusion重建框架中，在真实和合成数据集上均优于先前方法，实现了3D语义制图的最先进性能。

ABSTRACT

3D scene understanding is important for robots to interact with the 3D world in a meaningful way. Most previous works on 3D scene understanding focus on recognizing geometrical or semantic properties of the scene independently. In this work, we introduce Data Associated Recurrent Neural Networks (DA-RNNs), a novel framework for joint 3D scene mapping and semantic labeling. DA-RNNs use a new recurrent neural network architecture for semantic labeling on RGB-D videos. The output of the network is integrated with mapping techniques such as KinectFusion in order to inject semantic information into the reconstructed 3D scene. Experiments conducted on a real world dataset and a synthetic dataset with RGB-D videos demonstrate the ability of our method in semantic 3D scene mapping.

研究动机与目标

• 解决现有3D场景重建方法无法提供物体语义信息的局限性。
• 通过利用时间与空间一致性进行循环推理，提升RGB-D视频中的语义标注精度。
• 开发一种紧凑、内存高效的RNN架构，仅对当前观测到的场景部分进行循环推理。
• 将语义标注与密集3D重建相结合，利用KinectFusion实现对3D场景的密集、一致的语义标注。
• 提供一个灵活的框架，适用于多种语义标注任务，包括物体实例检测与材质识别。

提出的方法

• 提出一种新型循环神经网络架构，包含数据关联的循环单元（DA-RUs），其中每个单元对应输入RGB-D帧中的一个像素。
• 基于映射过程中的数据关联，在帧间建立DA-RU之间的时序连接，确保信息流的空间一致性。
• 采用加权移动平均更新规则来更新DA-RU的隐藏状态，实现特征的有效时序聚合。
• 将RNN的像素级语义预测结果集成到KinectFusion的3D体素地图中，生成语义标注的3D重建结果。
• 利用数据关联（如来自KinectFusion的关联）动态连接帧间对应像素，避免使用内存消耗过大的固定3D网格RNN。
• 采用全卷积网络（FCNs）进行逐帧语义分割，RNN则利用循环记忆随时间优化预测结果。

实验结果

研究问题

• RQ1 能否通过利用时间依赖性，有效使用循环神经网络提升RGB-D视频中的语义标注精度？
• RQ2 在大规模3D场景中应用循环推理时，如何实现内存高效的推理？
• RQ3 能否利用3D映射系统中的数据关联，构建跨视频帧的动态、空间一致的循环单元连接？
• RQ4 将基于RNN的语义标注与3D重建相结合，能在多大程度上提升3D语义地图的精度与一致性？
• RQ5 所提出的框架能否泛化到物体类别识别之外的其他语义标注任务？

主要发现

• 在RGB-D Scene数据集的3D点标注任务中，DA-RNN实现了95.2%的平均精确率和92.4%的平均召回率，优于HMP2D+3D等先前方法。
• 在合成的ShapeNet Scene数据集中，DA-RNN对碗类物体的标注实现了95.3%的精确率和91.0%的召回率，表现出对新物体形状的强大泛化能力。
• 该方法实现了每秒5帧的实时性能，支持在线语义3D重建。
• 标注错误主要源于形状相似性（如马克杯与易拉罐）以及偶尔的数据关联错误，例如将物体底部错误标注为桌面。
• 该框架在无需启发式后处理（如去除地面平面或桌面物体）的情况下，仍优于基线方法。
• 作者发布了代码与一个新的合成数据集，包含像素级语义标签，支持未来在3D语义制图领域的研究。