[论文解读] The Direction-Aware, Learnable, Additive Kernels and the Adversarial Network for Deep Floor Plan Recognition

Yuli Zhang, Yeyang He+2 more|arXiv (Cornell University)|Jan 30, 2020

3D Surveying and Cultural Heritage参考文献 26被引用 15

一句话总结

本文提出方向感知、可学习的加法核以及双判别器对抗性网络，以提升语义分割精度并减少深度平面图识别中的噪声，尤其针对不规则形状元素。该方法在 R2V 和 R3D 数据集上达到最先进性能，整体准确率达 0.94，平均 IoU 为 0.74，显著优于先前方法如 DeepLabV3+ 和 DeepLabFloorplan。

ABSTRACT

This paper presents a new approach for the recognition of elements in floor plan layouts. Besides of elements with common shapes, we aim to recognize elements with irregular shapes such as circular rooms and inclined walls. Furthermore, the reduction of noise in the semantic segmentation of the floor plan is on demand. To this end, we propose direction-aware, learnable, additive kernels in the application of both the context module and common convolutional blocks. We apply them for high performance of elements with both common and irregular shapes. Besides, an adversarial network with two discriminators is proposed to further improve the accuracy of the elements and to reduce the noise of the semantic segmentation. Experimental results demonstrate the superiority and effectiveness of the proposed network over the state-of-the-art methods.

研究动机与目标

• 提升平面图元素（尤其是不规则形状房间与边界）的语义分割精度。
• 减少墙体、门、窗及其他结构元素在像素级预测中的噪声。
• 更有效地建模平面图元素与房间边界之间的空间关系。
• 实现对常见及不规则形状元素（包括圆形房间与倾斜墙体）的高精度识别。
• 支持从 2D 平面图自动生成 3D 内饰设计与家具布局。

提出的方法

• 提出方向感知、可学习的加法核，可适应不同空间方向，并应用于卷积模块与上下文模块中。
• 将这些核集成到主干网络与上下文模块中，以增强对不规则形状的特征学习能力。
• 采用双判别器对抗性网络，以优化分割输出并抑制像素级预测中的噪声。
• 使用多任务、分层标注主干网络，联合优化多种平面图元素。
• 应用后处理步骤，进一步提升复杂与不规则几何形状的分割质量。
• 在 R2V 和 R3D 数据集上端到端训练模型，损失函数包含类别平衡交叉熵与对抗性损失。

实验结果

研究问题

• RQ1 方向感知、可学习的加法核是否能提升对圆形房间与倾斜墙体等不规则形状平面图元素的分割精度？
• RQ2 所提出的双判别器对抗性训练在减少噪声与提升像素级标签精度方面效果如何？
• RQ3 将可学习核同时集成到卷积模块与上下文模块中，是否能比标准核实现更优的空间关系建模？
• RQ4 所提方法在基准平面图数据集上相较于 SOTA 模型（如 DeepLabV3+ 与 PSPNet）的性能提升程度如何？
• RQ5 该方法能否泛化至实际工业应用，如自动化 3D 内饰设计与家具布局？

主要发现

• 在 R2V 数据集上，该方法实现 0.94 的整体准确率与 0.74 的平均 IoU，优于 DeepLabV3+（0.85/0.50）与 DeepLabFloorplan（0.89/0.63）。
• 在 R3D 数据集上，该方法实现 0.94 的整体准确率与 0.75 的平均 IoU，优于 PSPNet（0.84/0.50）与 DeepLabV3+（0.85/0.50）。
• 网络生成的分割图显著更清晰，尤其在圆形与不规则房间的边界与墙体结构中噪声更少。
• 即使不使用后处理，该模型的准确率仍高于基线模型，表明其具备强大的特征学习能力。
• 双判别器对抗性训练有效减少了误报，并提升了分割输出的边界一致性。
• 该方法支持高质量 3D 重建与自动家具布局，已部署超过 100,000 项工业级 3D 内饰设计方案。