[论文解读] Edge-Semantic Learning Strategy for Layout Estimation in Indoor Environment

Weidong Zhang, Wei Zhang+1 more|arXiv (Cornell University)|Jan 3, 2019

Advanced Image and Video Retrieval Techniques参考文献 34被引用 4

一句话总结

本文提出了一种新颖的边缘-语义联合学习策略，用于单目室内布局估计，采用共享编码器、双解码器网络架构，同时预测边缘图与语义标签。通过将这些预测结果结合到评分函数中，并利用射线采样和预定义布局库对布局假设进行优化，该方法在基准数据集上实现了最先进性能，相较于先前方法在像素误差上最高提升2.73%，在角点误差上最高提升1.13%。

ABSTRACT

Visual cognition of the indoor environment can benefit from the spatial layout estimation, which is to represent an indoor scene with a 2D box on a monocular image. In this paper, we propose to fully exploit the edge and semantic information of a room image for layout estimation. More specifically, we present an encoder-decoder network with shared encoder and two separate decoders, which are composed of multiple deconvolution (transposed convolution) layers, to jointly learn the edge maps and semantic labels of a room image. We combine these two network predictions in a scoring function to evaluate the quality of the layouts, which are generated by ray sampling and from a predefined layout pool. Guided by the scoring function, we apply a novel refinement strategy to further optimize the layout hypotheses. Experimental results show that the proposed network can yield accurate estimates of edge maps and semantic labels. By fully utilizing the two different types of labels, the proposed method achieves state-of-the-art layout estimation performance on benchmark datasets.

研究动机与目标

• 通过联合利用单目图像中的边缘与语义信息，提升室内布局估计的准确性。
• 解决现有方法仅依赖边缘图或语义标签的局限性，这些方法常因预测质量差和鲁棒性不足而受限。
• 开发一种减少对消失点检测依赖的鲁棒布局提案生成策略，后者对噪声和遮挡敏感。
• 提出一种像素级优化策略，利用融合的边缘与语义预测结果对布局假设进行精细化调整。
• 证明边缘与语义预测可相互补偿，从而增强整体布局估计的鲁棒性。

提出的方法

• 设计了一种双解码器编码器-解码器网络，采用基于VGG-16的共享编码器，以及使用转置卷积层的两个独立解码器，实现边缘图与语义分割图的并行预测。
• 边缘图表示墙体、地板和天花板的边界，而语义标签表示五种表面：天花板、地板、前墙、左墙和右墙。
• 设计评分函数，综合预测的边缘图与语义图，用于评估并排序通过射线采样和预定义布局库生成的布局假设。
• 通过评分函数引导的优化步骤对布局假设进行精细化处理，提升准确性和鲁棒性。
• 利用预定义布局库增强鲁棒性，尤其在遮挡或杂乱场景中，当消失点检测失效时表现更优。
• 边缘头与语义头的联合训练使两者在学习过程中相互促进，推理时可相互补偿对方的弱点。

实验结果

研究问题

• RQ1 与独立学习边缘图和语义标签相比，联合学习是否能提升布局估计的准确性？
• RQ2 边缘与语义预测的结合在存在遮挡和杂乱场景时，如何增强模型的鲁棒性？
• RQ3 结合预定义布局库与射线采样，是否能生成比基于消失点的方法更可靠的布局假设？
• RQ4 所提出的优化策略在初始假设基础上，能在多大程度上提升最终的布局预测精度？
• RQ5 边缘与语义预测之间的相互补偿机制，是否能提升模型在多样化室内场景布局上的泛化能力？

主要发现

• 所提方法在LSUN与Hedau基准数据集上达到最先进性能，在LSUN数据集上像素误差降低2.73%，角点误差降低1.13%。
• 边缘头与语义头的联合训练相比单任务训练，显著降低了边缘误差与语义误差，证明了学习过程中的相互增益。
• 即使在严重遮挡的复杂场景中（如墙体被家具或门遮挡），该方法仍能生成高度准确的边缘与语义预测。
• 使用预定义布局库显著提升了鲁棒性，尤其在非标准视角或复杂结构的场景中表现更优。
• 将预定义布局库中的假设（Lp）与射线采样得到的假设（Lv）相结合，可同时提升布局误差与布局类型准确率，证实了布局相似性先验知识的有效性。
• 所提出的优化策略带来了可测量的精度提升，表明基于融合边缘与语义评分的精细化处理能有效提升最终布局质量。