[论文解读] Facade Segmentation in the Wild

John Femiani, Wamiq Reyaz Para+2 more|arXiv (Cornell University)|May 9, 2018

Remote-Sensing Image Classification被引用 16

一句话总结

本文提出三种新颖的深度学习架构——MultiFacSegnet、Separable网络和Compatibility网络，用于在具有挑战性的‘真实环境’全景图像中进行城市立面的多标签语义分割。通过建模重叠标签、利用可分离卷积核提取几何先验信息，并通过迭代概率优化实现跨类别一致性，该方法实现了最先进性能，在基准数据集上将窗户分割的F1分数从0.91提升至0.97。

ABSTRACT

Urban facade segmentation from automatically acquired imagery, in contrast to traditional image segmentation, poses several unique challenges. 360-degree photospheres captured from vehicles are an effective way to capture a large number of images, but this data presents difficult-to-model warping and stitching artifacts. In addition, each pixel can belong to multiple facade elements, and different facade elements (e.g., window, balcony, sill, etc.) are correlated and vary wildly in their characteristics. In this paper, we propose three network architectures of varying complexity to achieve multilabel semantic segmentation of facade images while exploiting their unique characteristics. Specifically, we propose a MULTIFACSEGNET architecture to assign multiple labels to each pixel, a SEPARABLE architecture as a low-rank formulation that encourages extraction of rectangular elements, and a COMPATIBILITY network that simultaneously seeks segmentation across facade element types allowing the network to 'see' intermediate output probabilities of the various facade element classes. Our results on benchmark datasets show significant improvements over existing facade segmentation approaches for the typical facade elements. For example, on one commonly used dataset, the accuracy scores for window(the most important architectural element) increases from 0.91 to 0.97 percent compared to the best competing method, and comparable improvements on other element types.

研究动机与目标

• 解决‘真实环境’立面图像中语义分割的挑战，此类图像常包含拼接伪影、形变以及复杂的物体重叠。
• 实现像素级多标签预测，即单个像素可同时属于多个建筑元素（例如窗户和阳台）。
• 利用几何与结构先验信息（如矩形性与对齐性）以提升对细长或不规则立面元素（如窗台与支柱）的检测能力。
• 构建一个可扩展的端到端深度学习框架，能够泛化至多样化的数据源，包括街景全景图与预校正图像。
• 提升建筑元素的对象级召回率与F1分数，特别是窗户，以支持逆向程序化建模等下游应用。

提出的方法

• 提出MultiFacSegnet，一种多标签分割头，可同时为每个像素分配多个标签，从而捕捉立面元素之间的重叠关系。
• 引入Separable架构，采用低秩卷积核滤波器，以促进对矩形化、结构化立面组件（如窗户与阳台）的检测。
• 设计Compatibility网络，通过迭代方式利用不同立面元素类别之间的中间输出来优化分割概率，增强跨类别一致性。
• 应用标签平滑与迭代优化策略，以提升预测结果的置信度与空间一致性，尤其在噪声或形变区域表现更优。
• 在新的大规模街景全景图标注数据集上进行训练与评估，实现对真实世界条件的稳健泛化。
• 采用改进的Segnet主干网络，并引入边缘监督与重叠标签监督，以增强边界检测能力与结构保真度。

实验结果

研究问题

• RQ1 在真实世界全景图像中，通过支持重叠标签的多标签分割是否能显著提升立面元素检测的准确性？
• RQ2 可分离卷积核在扭曲立面图像中对矩形建筑元素（如窗户与阳台）的检测能力提升程度如何？
• RQ3 通过迭代概率优化实现的跨类别一致性（Compatibility网络）是否优于独立的单类别预测方法？
• RQ4 该方法在细长或不规则立面元素（如窗台与支柱）上的对象级指标（如召回率与F1分数）表现如何？
• RQ5 该模型能否有效泛化至未见的数据分布，包括具有严重伪影与杂乱干扰的街景全景图？

主要发现

• 在CMP数据集上，所提方法的窗户F1分数达到0.97，显著优于此前最先进方法的0.91。
• 在eTRIMS数据集上，尽管训练数据分布不同且未使用eTRIMS数据进行训练，该方法仍优于其他基于深度学习的方法。
• Separable架构在ECP数据集的大多数元素上达到最高准确率，优于现有方法的像素级分割性能。
• Compatibility变体提升了像素级F1分数，但略微降低了对象级召回率与F1分数，表明像素级与对象级性能之间存在权衡。
• 该方法对真实世界伪影（如光晕、拼接错误与遮挡）表现出强鲁棒性，在真实环境全景图像中保持高性能。
• 引入边缘监督与重叠标签监督显著提升了复杂立面场景中的边界检测与结构一致性。