[论文解读] Learning Attraction Field Representation for Robust Line Segment Detection

Nan Xue, Song Bai+4 more|arXiv (Cornell University)|Dec 5, 2018

Image and Object Detection Techniques被引用 12

一句话总结

该论文提出了一种新颖的吸引力场表示方法，通过区域划分与吸引力场图建模线段，实现端到端的深度学习，并引入挤压模块，从而实现准确、高效且鲁棒的线段检测。该方法在WireFrame数据集上将F-score提升了4.5%，推理速度达到6.6–10.4 FPS，达到当前最先进水平。

ABSTRACT

This paper presents a region-partition based attraction field dual representation for line segment maps, and thus poses the problem of line segment detection (LSD) as the region coloring problem. The latter is then addressed by learning deep convolutional neural networks (ConvNets) for accuracy, robustness and efficiency. For a 2D line segment map, our dual representation consists of three components: (i) A region-partition map in which every pixel is assigned to one and only one line segment; (ii) An attraction field map in which every pixel in a partition region is encoded by its 2D projection vector w.r.t. the associated line segment; and (iii) A squeeze module which squashes the attraction field to a line segment map that almost perfectly recovers the input one. By leveraging the duality, we learn ConvNets to compute the attraction field maps for raw in-put images, followed by the squeeze module for LSD, in an end-to-end manner. Our method rigorously addresses several challenges in LSD such as local ambiguity and class imbalance. Our method also harnesses the best practices developed in ConvNets based semantic segmentation methods such as the encoder-decoder architecture and the a-trous convolution. In experiments, our method is tested on the WireFrame dataset and the YorkUrban dataset with state-of-the-art performance obtained. Especially, we advance the performance by 4.5 percents on the WireFrame dataset. Our method is also fast with 6.6~10.4 FPS, outperforming most of existing line segment detectors.

研究动机与目标

• 解决线段检测中的局部模糊性和类别不平衡等挑战。
• 通过双表示方法将线段检测重新表述为区域着色问题。
• 开发一种兼具高精度与高效率的端到端深度学习框架。
• 利用语义分割中成熟的架构技术（如编码器-解码器结构与空洞卷积）以提升性能。
• 在真实世界数据集上实现对线段检测的鲁棒且高精度的检测。

提出的方法

• 该方法提出双表示：区域划分图将每个像素分配给某条线段，吸引力场图则编码每个像素相对于其所属线段的二维向量。
• 基于注意力机制的挤压模块将吸引力场压缩为精确的线段图，从而支持端到端训练。
• 采用带空洞卷积的深层编码器-解码器卷积神经网络，直接从原始输入图像学习吸引力场图。
• 框架整合了语义分割中的原理，包括跳跃连接与空洞卷积，以保留空间细节。
• 模型端到端训练以预测吸引力场，随后通过挤压模块生成最终的线段图。
• 通过显式建模几何关系的向量场，该方法增强了对噪声与变化的鲁棒性。

实验结果

研究问题

• RQ1 学习得到的吸引力场表示是否能在复杂条件下提升线段检测的鲁棒性与准确性？
• RQ2 与传统方法相比，区域划分与吸引力场的双表示方法在多大程度上提升了检测性能？
• RQ3 通过挤压模块实现的端到端深度学习在多大程度上能从原始图像中恢复出真实线段？
• RQ4 集成语义分割技术（如空洞卷积与跳跃连接）是否能提升线段检测的性能？
• RQ5 所提方法在处理线段检测中的局部模糊性与类别不平衡问题方面表现如何？

主要发现

• 与之前最先进方法相比，该方法在WireFrame数据集上的F-score提升了4.5%。
• 模型推理速度为6.6至10.4帧每秒，展现出高效的推理性能。
• 吸引力场表示通过逐像素编码几何关系，有效减少了局部模糊性。
• 挤压模块能够近乎完美地从学习到的吸引力场中恢复出原始线段图。
• 空洞卷积与编码器-解码器结构的结合显著提升了特征表示能力与检测精度。
• 该方法在真实世界场景中具有良好的泛化能力，已在WireFrame与YorkUrban数据集上得到验证。