[论文解读] HorizonNet: Learning Room Layout with 1D Representation and Pano Stretch Data Augmentation

Cheng Sun, Chi-Wei Hsiao+2 more|arXiv (Cornell University)|Jan 12, 2019

Advanced Vision and Imaging参考文献 34被引用 17

一句话总结

HorizonNet 提出了一种用于从全景图像中估计 3D 房间布局的一维表示方法，通过每张图像列编码地板-墙面、天花板-墙面和墙面-墙面边界的位置。它通过一种高效的后处理步骤实现了更低的计算成本，达到了最先进（SOTA）的性能，并引入了 Pano Stretch 数据增强方法，提升了各类设置下的准确率，且在微调后能泛化到非长方体布局。

ABSTRACT

We present a new approach to the problem of estimating the 3D room layout from a single panoramic image. We represent room layout as three 1D vectors that encode, at each image column, the boundary positions of floor-wall and ceiling-wall, and the existence of wall-wall boundary. The proposed network, HorizonNet, trained for predicting 1D layout, outperforms previous state-of-the-art approaches. The designed post-processing procedure for recovering 3D room layouts from 1D predictions can automatically infer the room shape with low computation cost - it takes less than 20ms for a panorama image while prior works might need dozens of seconds. We also propose Pano Stretch Data Augmentation, which can diversify panorama data and be applied to other panorama-related learning tasks. Due to the limited data available for non-cuboid layout, we relabel 65 general layout from the current dataset for finetuning. Our approach shows good performance on general layouts by qualitative results and cross-validation.

研究动机与目标

• 解决全景房间布局估计中训练数据有限、模糊且缺乏泛化能力的挑战。
• 在保持或提升准确率的同时，降低模型复杂度和推理成本。
• 开发一种针对全景几何特性的数据增强策略，以增强泛化能力，而无需更多标注数据。
• 通过在重新标注的数据上微调，实现对非长方体和凹形房间布局的准确预测。
• 设计一种紧凑的一维表示，高效编码完整房间布局，同时保持几何一致性。

提出的方法

• 将整个房间布局表示为三个一维向量（分别对应地板-墙面、天花板-墙面、墙面-墙面边界类型），每个图像列对应一个值。
• 使用基于 ResNet 的主干网络，随后接 RNN 以建模全景图像中长距离的几何依赖关系。
• 应用 Pano Stretch 数据增强方法，该方法在训练期间沿水平轴拉伸全景图像，以增加数据多样性。
• 采用快速后处理流水线，利用几何约束在每张图像 20ms 内将一维预测转换为 3D 布局。
• 在 65 个重新标注的非长方体布局上进行微调，以提升对复杂、非矩形房间形状的性能。
• 用一维表示替代密集的二维输出头，以减少参数量和计算量，同时提升预测准确率。

实验结果

研究问题

• RQ1 一维全景房间布局表示是否在准确率和效率方面优于传统的二维密集预测？
• RQ2 Pano Stretch 数据增强是否能提升全景布局估计任务中的泛化能力和性能？
• RQ3 RNN 是否能有效建模全景布局中的长距离几何模式，以提升预测的一致性？
• RQ4 在长方体布局上训练的模型在多大程度上能泛化到非长方体和凹形房间布局？
• RQ5 所提出的后处理方法如何在极低计算成本下实现高速 3D 布局重建？

主要发现

• 在 65 个重新标注的非长方体布局的 13 折交叉验证中，HorizonNet 达到了 82.5% 的 3D IoU，比 LayoutNet 提高了 7.4 个百分点。
• 即使参数更少、计算量更小，采用一维表示和 RNN 的模型性能仍优于密集的二维预测。
• Pano Stretch 数据增强在所有实验设置中均一致地提升了性能，证明了其有效性和泛化能力。
• 后处理步骤在每张全景图上用时不足 20ms 即可重建 3D 布局，显著快于以往需要数十秒的方法。
• 使用 RNN 的模型在未经后处理的情况下，原始输出也与曼哈顿世界几何高度一致，表明其对布局结构具有强大的归纳偏差。
• 在 65 个重新标注的非长方体布局上进行微调后，模型能够泛化到复杂房间形状，包括存在遮挡或凹角的场景。