[论文解读] Flat2Layout: Flat Representation for Estimating Layout of General Room Types

Chi-Wei Hsiao, Cheng Sun+2 more|arXiv (Cornell University)|May 29, 2019

3D Surveying and Cultural Heritage参考文献 30被引用 16

一句话总结

Flat2Layout 提出了一种新颖的平面化表示方法，用于从单视角 RGB 图像中估计通用的室内房间布局，无需预定义的盒状拓扑结构。它使用深度学习模型预测逐行排列的平面输出，并通过动态规划解码生成精确的 3D 布局，在标准基准测试中达到最先进性能，且在经过微调后能有效泛化至复杂、非盒状的房间类型。

ABSTRACT

This paper proposes a new approach, Flat2Layout, for estimating general indoor room layout from a single-view RGB image whereas existing methods can only produce layout topologies captured from the box-shaped room. The proposed flat representation encodes the layout information into row vectors which are treated as the training target of the deep model. A dynamic programming based postprocessing is employed to decode the estimated flat output from the deep model into the final room layout. Flat2Layout achieves state-of-the-art performance on existing room layout benchmark. This paper also constructs a benchmark for validating the performance on general layout topologies, where Flat2Layout achieves good performance on general room types. Flat2Layout is applicable on more scenario for layout estimation and would have an impact on applications of Scene Modeling, Robotics, and Augmented Reality.

研究动机与目标

• 解决现有方法仅能处理最多五个平面（天花板、地板和三面墙）的盒状房间布局的局限性。
• 开发一种能泛化至任意房间拓扑结构、无需进行拓扑特异性模型修改的布局估计方法。
• 设计一种平面化输出表示，使通过动态规划实现高效且精确的布局几何解码成为可能。
• 构建一个新的基准测试集，用于评估超越标准 LSUN 数据集的通用房间布局拓扑结构。

提出的方法

• 通过检测垂直消失点并对输入 RGB 图像应用单应变换，对图像进行预处理，使所有墙-墙边界对齐为垂直方向。
• 设计一种平面目标表示，将布局信息编码为行向量，使深度模型能够预测布局元素的一维序列。
• 端到端训练一个深度神经网络，从单视角 RGB 图像中预测平面化表示。
• 在后处理阶段应用动态规划，通过优化角点与平面的连接关系，将平面输出解码为有效的 3D 布局。
• 使用可微分损失函数在训练过程中监督平面化表示，确保几何一致性。
• 在新构建的 40 幅全景图像组成的通用房间布局基准数据集上，对预训练的 LSUN 模型进行微调，以适应复杂拓扑结构。

实验结果

研究问题

• RQ1 在不修改网络架构的前提下，仅在标准盒状布局上进行训练的深度学习模型，能否泛化至非盒状房间布局？
• RQ2 与逐像素或关键点表示相比，平面化表示在编码复杂布局拓扑结构方面的有效性如何？
• RQ3 在推理阶段无需提取消失点的情况下，动态规划解码能否可靠地从平面输出重建 3D 布局？
• RQ4 仅在 LSUN 上训练的模型与在通用布局数据上微调后的模型之间，性能差距有多大？
• RQ5 该方法在具有三个或更多可见墙-墙边界的复杂布局中表现如何？

主要发现

• 在 10 折交叉验证微调后，该模型在通用布局基准测试中的角点误差（CE）为 5.31%，显著优于仅在 LSUN 上预训练的模型（8.35% CE）。
• 在具有三个或更多墙-墙边界的布局中，微调后模型的 CE 从无微调时的 13.59% 降低至 6.78%，展现出强大的泛化能力。
• 该方法在 LSUN 基准测试中保持了最先进性能，单帧推理时间低至 500ms。
• 定性结果表明，即使在未能完全匹配真实标注的情况下，该模型仍能正确重建包括阳台和非矩形结构在内的复杂布局。
• 该方法无需重新训练或修改后处理流程，即可泛化至未见过的房间类型，仅依赖数据增强与微调。
• 在具有挑战性的案例中（如将横梁误认为墙），模型仍能生成视觉上合理的布局，表明其在几何推理方面的鲁棒性。