[论文解读] DuLa-Net: A Dual-Projection Network for Estimating Room Layouts from a Single RGB Panorama

Shang-Ta Yang, Fu-En Wang+4 more|arXiv (Cornell University)|Nov 29, 2018

Advanced Vision and Imaging参考文献 32被引用 6

一句话总结

DuLa-Net 提出了一种双投影深度学习框架，通过联合分析等距投影全景图和透视顶视图投影，从单张 RGB 全景图中估计 3D 曼哈顿世界房间布局。通过在两个编码器-解码器分支之间融合特征，并引入 Realtor360 数据集，该方法在复杂非长方体布局上的精度达到当前最先进水平，同时相比先前方法将推理时间减少了 3.28 倍。

ABSTRACT

We present a deep learning framework, called DuLa-Net, to predict Manhattan-world 3D room layouts from a single RGB panorama. To achieve better prediction accuracy, our method leverages two projections of the panorama at once, namely the equirectangular panorama-view and the perspective ceiling-view, that each contains different clues about the room layouts. Our network architecture consists of two encoder-decoder branches for analyzing each of the two views. In addition, a novel feature fusion structure is proposed to connect the two branches, which are then jointly trained to predict the 2D floor plans and layout heights. To learn more complex room layouts, we introduce the Realtor360 dataset that contains panoramas of Manhattan-world room layouts with different numbers of corners. Experimental results show that our work outperforms recent state-of-the-art in prediction accuracy and performance, especially in the rooms with non-cuboid layouts.

研究动机与目标

• 提升从单张 RGB 全景图中估计 3D 房间布局的精度，尤其针对复杂非长方体布局。
• 解决室内场景中遮挡和杂乱（如家具和反光表面）带来的挑战。
• 通过端到端方式直接预测 2D 地板平面概率图，降低后处理复杂度。
• 创建大规模、多样化的标注室内全景图数据集，用于训练和评估复杂房间布局。
• 通过减少先前方法中耗时的优化步骤，实现更快的推理速度。

提出的方法

• 网络使用两个并行的编码器-解码器分支：一个处理等距投影全景图，另一个处理透视顶视图，各自处理同一输入全景图的不同投影。
• 提出一种基于 E2P（等距投影到透视）的新型特征融合机制，连接两个解码器的前几层，实现跨分支的特征交换。
• 全景图分支预测地板-天花板概率图和布局高度；顶视图分支预测顶视图投影下的地板平面概率图。
• 通过将三个融合后的地板平面概率图的加权平均结果拟合为与曼哈顿世界对齐的多边形，生成最终的 2D 地板平面图。
• 系统通过多任务损失函数联合训练，以优化地板平面图精度和布局高度预测。
• 为支持复杂非长方体布局的训练，构建了 Realtor360 数据集，包含 2,573 张标注的全景图，每张图包含 4 至 12 个角点。

Figure 1: 3D room layouts with different complexity are estimated from a single RGB panorama using our system. ( Left to right ) Room layout with a floor plan of 6 corners, 8 corners, and 10 corners. The checkerboard patterns on the walls indicate the missing textures due to occlusion.

实验结果

研究问题

• RQ1 对单张全景图进行双投影分析是否能提升 3D 房间布局估计的精度，尤其在复杂非长方体房间中？
• RQ2 在两种不同视角投影之间进行特征融合，是否能带来比单视角网络更好的泛化能力和性能表现？
• RQ3 与先前最先进方法相比，端到端深度学习框架是否能减少对后处理优化步骤的依赖？
• RQ4 所提出方法在包含多样化复杂房间布局（非简单长方体）的数据集上表现如何？
• RQ5 大规模多样化数据集（Realtor360）的引入在多大程度上提升了模型在复杂布局上的泛化能力和性能？

主要发现

• 在 PanoContext 数据集上，DuLa-Net 的 3D IoU 达到 77.42%，优于 LayoutNet 的 74.48%。
• 在 Stanford 2D-3D 数据集上，DuLa-Net 的 3D IoU 达到 79.36%，超过 LayoutNet 的 76.33%。
• 该方法将端到端推理时间缩短至每场景 13.4 秒，相比 LayoutNet 的 43.9 秒，提速 3.28 倍。
• 消融实验表明，通过特征融合联合训练两个分支可获得最佳性能，优于单分支或非融合配置。
• 该方法在具有超过四个角点的房间中表现尤为突出，显示出在复杂非长方体布局上的卓越能力。
• 失败案例揭示了在处理反光表面和大型遮挡物时存在局限性，表明未来工作需引入物体语义信息。

Figure 2: Our network architecture follows the encoder-decoder scheme and consists of two branches. Given a panorama in equirectangular projection, we additionally create a perspective ceiling-view image through a equirectangular-to-perspective (E2P) conversion. The panorama and the ceiling-view ima