[论文解读] End-to-End Wireframe Parsing

Yichao Zhou, Haozhi Qi+1 more|arXiv (Cornell University)|May 8, 2019

Image and Object Detection Techniques参考文献 35被引用 10

一句话总结

本文提出 L-CNN，一种用于线框解析的端到端深度学习框架，可直接输出带节点和线段的矢量化线框，避免了启发式后处理。通过使用统一的、可微分的架构，结合节点提议、线段采样和线段验证模块，该方法在基准数据集上的表现优于以往的两阶段方法，达到最先进性能。

ABSTRACT

We present a conceptually simple yet effective algorithm to detect wireframes in a given image. Compared to the previous methods which first predict an intermediate heat map and then extract straight lines with heuristic algorithms, our method is end-to-end trainable and can directly output a vectorized wireframe that contains semantically meaningful and geometrically salient junctions and lines. To better understand the quality of the outputs, we propose a new metric for wireframe evaluation that penalizes overlapped line segments and incorrect line connectivities. We conduct extensive experiments and show that our method significantly outperforms the previous state-of-the-art wireframe and line extraction algorithms. We hope our simple approach can be served as a baseline for future wireframe parsing studies. Code has been made publicly available at https://github.com/zhou13/lcnn.

研究动机与目标

• 开发一种简单、可端到端训练的神经网络，实现无需启发式后处理的直接矢量化线框解析。
• 解决依赖独立热力图和不可微分线段提取启发式方法的两阶段线框方法的局限性。
• 提出一种新评估指标，考虑结构正确性（如线段连通性和重叠），而标准指标常忽略这些因素。
• 为未来线框解析研究建立一个强大且可复用的基线。

提出的方法

• L-CNN 使用统一的、端到端可微分架构，包含特征提取主干网络、节点提议模块、线段采样模块和线段验证模块。
• 节点提议模块通过热力图回归检测显著节点，线段采样模块通过连接节点对生成候选线段。
• 线段验证通过一个小型神经网络完成，该网络利用从 LoI（感兴趣区域）池化层提取的特征，将候选线段分类为真实线段或误检。
• LoI 池化层在每个候选线段周围提取上下文特征，从而实现鲁棒的线段验证。
• 提出一种基于线段匹配的新评估指标，用于计算精度与召回率曲线，该指标会惩罚重叠线段和错误连通性。
• 仅在视觉质量或非结构化指标优先时应用后处理，使用基于距离的规则移除或裁剪重叠线段。

实验结果

研究问题

• RQ1 能否通过一个端到端可微分神经网络直接生成矢量化线框，而无需启发式线段提取？
• RQ2 所提出的 L-CNN 架构在准确性和结构正确性方面与两阶段方法相比表现如何？
• RQ3 重叠线段和错误连通性在多大程度上影响标准评估指标？如何更准确地捕捉这些影响？
• RQ4 将人工设计的线段特征（如坐标、斜率）引入是否能提升性能，相较于仅使用学习到的特征？
• RQ5 所提出的评估指标是否能比现有指标更准确地反映线框输出的结构质量？

主要发现

• L-CNN 在 ShanghaiTech 线框数据集上达到最先进性能，后处理后 F^H 得分为 81.2，AP^H 为 82.8。
• 所提出的评估指标有效惩罚了重叠线段和错误连通性，提供了对结构正确性的更准确评估。
• 后处理显著提升了视觉质量与定量指标，使 ShanghaiTech 数据集上的 F^H 从 76.9 提升至 81.2，AP^H 从 80.3 提升至 82.8。
• 消融实验表明，人工设计的线段特征（坐标与斜率）并未提升性能，反而可能导致过拟合，因此未被纳入最终模型。
• L-CNN 显著优于先前最先进方法，包括 Wireframe [14]、AFM [33] 和 LSD [32]，尤其在处理具有复杂线段连通性的场景时表现更优。