[论文解读] Im2Pano3D: Extrapolating 360 Structure and Semantics Beyond the Field of View

Shuran Song, Andy Zeng+4 more|arXiv (Cornell University)|Dec 12, 2017

Advanced Vision and Imaging参考文献 3被引用 11

一句话总结

Im2Pano3D 提出了一种深度学习框架，能够从部分 RGB-D 观测（≤50% 视场角）外推得到 360° 3D 场景结构和语义标签。它采用平面方程编码和合成与真实室内数据的多监督策略，实现完整全景场景的预测，像素准确率达到 56%，平均表面距离误差低于 0.52m，显著优于基线方法。

ABSTRACT

We present Im2Pano3D, a convolutional neural network that generates a dense prediction of 3D structure and a probability distribution of semantic labels for a full 360 panoramic view of an indoor scene when given only a partial observation (<= 50%) in the form of an RGB-D image. To make this possible, Im2Pano3D leverages strong contextual priors learned from large-scale synthetic and real-world indoor scenes. To ease the prediction of 3D structure, we propose to parameterize 3D surfaces with their plane equations and train the model to predict these parameters directly. To provide meaningful training supervision, we use multiple loss functions that consider both pixel level accuracy and global context consistency. Experiments demon- strate that Im2Pano3D is able to predict the semantics and 3D structure of the unobserved scene with more than 56% pixel accuracy and less than 0.52m average distance error, which is significantly better than alternative approaches.

研究动机与目标

• 解决在室内场景中基于相机视场角之外区域的 3D 结构与语义推断挑战。
• 开发一种统一的深度学习框架，能够从有限观测中推断完整的全景视图。
• 利用大规模合成和真实世界室内数据集中的强上下文先验，以提升泛化能力。
• 设计一种支持识别与重建任务的鲁棒 3D 表示。

提出的方法

• Im2Pano3D 使用卷积神经网络，从部分 RGB-D 输入中预测完整 360° 全景视图的 3D 结构和语义概率。
• 它使用平面方程（ax + by + cz + d = 0）表示 3D 表面，而非原始深度，从而实现分段常数、鲁棒的预测。
• 该模型在合成数据（SUNCG）和真实数据（Matterport3D）的组合上进行训练，以学习强上下文先验。
• 通过像素级重建损失、对抗性损失和场景属性损失实现多层次监督，以确保局部精度与全局一致性。
• 训练过程中使用随机视图掩码，以提升在多样化相机配置和输入视场角下的泛化能力。
• 该框架支持多种输入模态，包括 RGB-D、彩色全景图和带深度标注的全景图。

实验结果

研究问题

• RQ1 基于部分观测，深度学习模型能否准确预测室内场景中未观测区域的 3D 结构与语义？
• RQ2 与原始深度预测相比，平面方程表示在提升 3D 结构预测鲁棒性方面有多有效？
• RQ3 在合成数据（SUNCG）上进行预训练，对真实世界基准（Matterport3D）上的性能提升程度如何？
• RQ4 预测精度如何随与观测区域距离的增加而变化，以及随输入视场角的变化而变化？
• RQ5 该模型能否在多种相机配置和输入模态上实现良好泛化？

主要发现

• Im2Pano3D 在预测未观测区域的 3D 结构与语义方面达到 56% 的像素准确率，显著优于其他方法。
• 平均表面距离误差低于 0.52m，表明外推的 3D 结构具有高几何精度。
• 在 SUNCG 上进行预训练使 Matterport3D 上的 PoG 性能提升 9%，表面距离误差降低 4%，凸显了合成数据的价值。
• 随着与观测区域距离的增加，性能有所下降，但仍显著高于基线方法，尤其在遮挡区域或远距离区域表现更优。
• 该模型在多种相机设置下表现出有效的泛化能力，包括单目/多目 RGB-D、全景彩色图以及深度全景图组合。
• 当仅在 SUNCG 上训练时，该模型在分割任务上的表现优于仅在 Matterport3D 上训练的模型，表明从合成数据中具备强大的零样本泛化能力。