[论文解读] 3DMV: Joint 3D-Multi-View Prediction for 3D Semantic Scene Segmentation

Angela Dai, Matthias Nießner|arXiv (Cornell University)|Mar 28, 2018

Advanced Vision and Imaging参考文献 35被引用 4

一句话总结

3DMV 提出了一种联合 3D 多视角深度学习框架，通过融合 RGB 与几何特征，实现室内 RGB-D 扫描中的 3D 语义场景分割。通过从输入图像中提取 2D 特征，利用可微分层将这些特征反投影到 3D 体素网格中，并在端到端网络中将它们与 3D 几何特征结合，该方法在 ScanNet 基准测试中实现了 75% 的平均交并比（mIoU），相较于以往的体素化方法提升了 +22.2%。

ABSTRACT

We present 3DMV, a novel method for 3D semantic scene segmentation of RGB-D scans in indoor environments using a joint 3D-multi-view prediction network. In contrast to existing methods that either use geometry or RGB data as input for this task, we combine both data modalities in a joint, end-to-end network architecture. Rather than simply projecting color data into a volumetric grid and operating solely in 3D -- which would result in insufficient detail -- we first extract feature maps from associated RGB images. These features are then mapped into the volumetric feature grid of a 3D network using a differentiable backprojection layer. Since our target is 3D scanning scenarios with possibly many frames, we use a multi-view pooling approach in order to handle a varying number of RGB input views. This learned combination of RGB and geometric features with our joint 2D-3D architecture achieves significantly better results than existing baselines. For instance, our final result on the ScanNet 3D segmentation benchmark increases from 52.8\% to 75\% accuracy compared to existing volumetric architectures.

研究动机与目标

• 通过有效结合 RGB 与几何数据，提升室内环境中 3D 语义场景分割的性能。
• 解决现有体素化网络因体素分辨率较低而无法充分利用丰富 2D 图像特征的局限性。
• 开发一种端到端的联合 3D-多视角架构，从两种模态中学习协同表示。
• 通过多视角池化机制处理可变数量的输入 RGB 视图，提升在序列扫描场景下的鲁棒性。
• 在 3D 语义分割基准测试中超越现有的最先进体素化与基于点的方法。

提出的方法

• 该方法使用 2D 主干网络从输入 RGB 图像中提取高分辨率特征图。
• 这些 2D 特征通过卷积层下采样后，利用可微分的反投影层被投射到 3D 体素网格中。
• 3D 网络在共享的 3D 卷积架构中同时处理反投影的 2D 特征与原始 3D 几何特征（例如，符号距离场）。
• 多视角池化策略聚合来自多个 RGB 视图的特征，使网络能够处理来自 RGB-D 扫描的可变输入序列。
• 整个网络采用端到端训练，实现 2D 与 3D 特征学习的联合优化。
• 2D 与 3D 特征的融合在中间层（具体为 3D 网络的 2/3 层）进行，该策略被证明可获得最佳性能。

实验结果

研究问题

• RQ1 与仅使用 3D 几何或 RGB 数据相比，联合 2D-3D 特征学习是否能提升 3D 语义分割的准确性？
• RQ2 在密集 3D 重建场景中，多视角 RGB 特征的整合如何影响分割性能？
• RQ3 在 3D 分割网络中，结合 2D 与 3D 特征的最优融合策略（如早期、晚期或中间融合）是什么？
• RQ4 2D 与 3D 特征在多大程度上相互补充，它们是冗余的还是协同增强的？
• RQ5 输入 RGB 视图的数量如何影响分割准确性，性能是否会随着视图增多而趋于饱和？

主要发现

• 所提出的 3DMV 方法在 ScanNet 3D 语义分割基准测试中实现了 75% 的平均交并比（mIoU），显著优于之前最佳的体素化方法（52.8%）。
• 与最佳的 PointNet 基线相比，该方法在 mIoU 上提升了 14.8 个百分点，证明了联合 3D-多视角学习的有效性。
• 2/3 融合策略——即在 3D 网络的 2/3 层融合 2D 与 3D 特征——表现最佳，优于早期与晚期融合的变体。
• 增加更多 RGB 视图可提升性能，但每增加一个视图带来的增益逐渐减小，表明在达到一定输入数量后收益递减。
• 联合 3D-多视角网络学习到的特征是正交且互补的：RGB 与几何特征并非冗余，而是相互增强。
• 该方法在 2D 像素级分割任务中也表现出良好的泛化能力，在将 3D 标注投影回 RGB 帧后，于 NYU2 数据集上实现了 71.2% 的准确率。