[论文解读] A Coarse-to-Fine Indoor Layout Estimation (CFILE) Method

Yuzhuo Ren, Chen Chen+2 more|arXiv (Cornell University)|Jul 3, 2016

Advanced Vision and Imaging被引用 12

一句话总结

该论文提出了一种从粗到精的室内布局估计方法（CFILE），采用多任务全卷积网络（MFCN）进行鲁棒的粗略布局估计，并通过优化框架强制执行轮廓直线度、表面平滑度和几何约束，实现精细优化。该方法在Hedau和LSUN基准测试中分别以1.16%和1.32%的性能提升，达到当前最先进水平。

ABSTRACT

The task of estimating the spatial layout of cluttered indoor scenes from a single RGB image is addressed in this work. Existing solutions to this problems largely rely on hand-craft features and vanishing lines, and they often fail in highly cluttered indoor rooms. The proposed coarse-to-fine indoor layout estimation (CFILE) method consists of two stages: 1) coarse layout estimation; and 2) fine layout localization. In the first stage, we adopt a fully convolutional neural network (FCN) to obtain a coarse-scale room layout estimate that is close to the ground truth globally. The proposed FCN considers combines the layout contour property and the surface property so as to provide a robust estimate in the presence of cluttered objects. In the second stage, we formulate an optimization framework that enforces several constraints such as layout contour straightness, surface smoothness and geometric constraints for layout detail refinement. Our proposed system offers the state-of-the-art performance on two commonly used benchmark datasets.

研究动机与目标

• 为解决在高度杂乱环境中，由于物体遮挡导致边界被遮蔽时，从单张RGB图像准确估计室内房间布局的挑战。
• 克服先前方法依赖手工设计特征和消失线的局限性，这些方法在杂乱环境和视角变化下常会失效。
• 通过多任务全卷积网络联合学习表面和轮廓表征，提升布局估计的鲁棒性。
• 通过利用直线度、平滑度和一致性等几何约束对粗略预测进行细化，以解决歧义和遮挡问题。
• 通过端到端学习与结构化优化，在标准基准测试中实现最先进性能。

提出的方法

• 训练一个多任务全卷积网络（MFCN），联合预测语义表面（地板、墙壁、天花板）和布局轮廓，利用表面与轮廓的特性提升鲁棒性。
• MFCN采用联合损失函数进行训练，以促进表面像素级标注的准确性与布局边界的检测能力，从而在杂乱场景中提升泛化性能。
• 在第二阶段引入优化框架，通过强制执行三项关键约束（轮廓直线度、表面平滑度、几何一致性）对粗略布局估计进行细化。
• 该优化使用一个评分函数，根据候选布局满足几何与结构约束的程度进行排序，选择得分最高的配置。
• 第一阶段为端到端可微，第二阶段采用非可微但具有结构化的优化，即使在遮挡区域也能实现高保真度的布局恢复。
• 系统在两个基准数据集上进行评估：Hedau等人（2009）和LSUN验证集，采用像素误差和角点误差作为度量指标。

实验结果

研究问题

• RQ1 基于深度学习的粗略布局估计器能否联合建模表面语义与轮廓检测，从而在杂乱室内场景中提升鲁棒性？
• RQ2 几何约束（如轮廓直线度与表面平滑度）在多大程度上可被有效利用以细化粗略预测并解决歧义？
• RQ3 与仅使用端到端深度学习相比，所提出的优化框架在多大程度上提升了布局精度？
• RQ4 在具有挑战性的条件下，该从粗到精的流水线是否优于现有最先进方法？
• RQ5 在对称墙壁、被遮挡的边界和模糊物体布局等困难情况下的表现如何？

主要发现

• 所提出的基于MFCN的粗略布局估计器在遮挡和杂乱区域中比先前的FCN方法产生更鲁棒、更准确的预测，如视觉对比所示。
• 优化框架通过恢复缺失和被遮挡的线条，显著提升了布局细节，如最佳结果（图7）所示，微调后的预测与真实值高度一致。
• 在Hedau数据集上，CFILE方法的像素误差为8.67%，比第二好的方法（12.83%）低1.16个百分点。
• 在LSUN验证集上，CFILE方法的像素误差为9.31%，角点误差为7.95%，在像素误差上比第二好的方法高出1.32个百分点。
• 即使在最坏情况（图8）下，CFILE方法仍保持更高精度（如79.4%），优于先前工作的最差结果（61.05%），证明了其鲁棒性的提升。
• 可视化结果证实，该方法能有效解决对称或易混淆的墙壁布局中的歧义，并能正确识别其他方法失败时的天花板边界。