[论文解读] LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering

Fu-En Wang, Yu-Hsuan Yeh+3 more|arXiv (Cornell University)|Apr 1, 2021

Advanced Vision and Imaging参考文献 31被引用 4

一句话总结

LED2-Net 提出了一种可微分的布局到深度（L2D）渲染方法，将单目360°布局估计建模为在地平线线上进行的3D感知深度估计任务，从而在3D几何监督下实现端到端训练。该方法在多个基准测试中达到最先进性能，并通过在合成深度数据集（如Structured3D）上进行预训练，实现了更好的泛化能力。

ABSTRACT

Although significant progress has been made in room layout estimation, most methods aim to reduce the loss in the 2D pixel coordinate rather than exploiting the room structure in the 3D space. Towards reconstructing the room layout in 3D, we formulate the task of 360 layout estimation as a problem of predicting depth on the horizon line of a panorama. Specifically, we propose the Differentiable Depth Rendering procedure to make the conversion from layout to depth prediction differentiable, thus making our proposed model end-to-end trainable while leveraging the 3D geometric information, without the need of providing the ground truth depth. Our method achieves state-of-the-art performance on numerous 360 layout benchmark datasets. Moreover, our formulation enables a pre-training step on the depth dataset, which further improves the generalizability of our layout estimation model.

研究动机与目标

• 为解决单目360°布局估计中基于2D像素损失的局限性，这些损失无法捕捉3D几何结构。
• 在无需真实深度标注的情况下，将3D几何监督融入布局估计。
• 通过使布局到深度的转换过程可微分，实现端到端训练。
• 通过在合成360°深度数据集上进行预训练，提升模型泛化能力。

提出的方法

• 该方法将360°布局估计建模为沿地平线线预测深度值，称为‘地平线深度’（horizon-depth），以保持3D几何一致性。
• 提出一种基于单位球体射线投射的可微分L2D（布局到深度）过程，使深度损失的梯度能够反向传播至布局预测。
• 引入‘网格重采样’（Grid Re-sample）策略，通过使用可变数量的射线（默认M=256）近似地平线深度图，降低计算成本。
• 在3D空间中使用标准深度估计损失函数（如L2损失），提升几何精度。
• 支持在合成360°深度数据集（如Structured3D）上进行预训练，从而获得高质量的深度监督。
• 该框架支持在布局数据集上进行端到端训练，以及通过深度预训练实现迁移学习。

实验结果

研究问题

• RQ1 可微分深度渲染能否提升单目360°布局估计中的3D几何一致性？
• RQ2 将布局估计建模为地平线深度预测任务，是否能优于传统的2D像素损失？
• RQ3 在合成360°深度数据集上进行预训练，能否提升模型在多样化布局分布上的泛化能力？
• RQ4 模型对射线投射过程中使用的射线数量有多敏感？
• RQ5 所提方法是否能在同数据集和跨数据集评估设置下均达到最先进性能？

主要发现

• LED2-Net 在 Matterport3D、Realtor360、PanoContext 和 Stanford2D3D 上均达到最先进性能，在同数据集和跨数据集评估中均优于 HorizonNet 和 AtlantaNet。
• 当在合成深度数据集 Structured3D 上进行预训练时，模型在跨数据集泛化方面表现出显著提升，尤其在以 Matterport3D 训练、在 Realtor360 和 Stanford2D3D 上测试时效果更明显。
• 在 Realtor360 同数据集设置下，通过在 Structured3D 上预训练，性能提升约1%，证明了3D几何先验的有益作用。
• 在网格重采样策略中，当射线数 M=256 时模型性能趋于饱和，表明增加射线数量带来的收益递减，且计算成本显著上升。
• IoU 指标在所有数据集上均持续提升，证实3D感知的深度监督能有效提升布局边界的准确性。
• 消融实验证实，可微分L2D模块对端到端训练至关重要，并能有效利用3D几何约束。