[论文解读] Automatic Detection and Classification of Symbols in Engineering Drawings

Sourish Sarkar, Pranav Kumar Pandey+1 more|arXiv (Cornell University)|Apr 28, 2022

Manufacturing Process and Optimization被引用 12

一句话总结

本文提出了一种零样本深度学习框架，用于使用预训练的卷积神经网络自动检测和分类工程图中的符号。该方法提取图例表格，通过微调的目标检测器在图纸中检测符号，并通过将特征嵌入与模板符号进行比较来分类符号——在评估中，从354个检测到的符号中正确分类了172个。

ABSTRACT

A method of finding and classifying various components and objects in a design diagram, drawing, or planning layout is proposed. The method automatically finds the objects present in a legend table and finds their position, count and related information with the help of multiple deep neural networks. The method is pre-trained on several drawings or design templates to learn the feature set that may help in representing the new templates. For a template not seen before, it does not require any training with template dataset. The proposed method may be useful in multiple industry applications such as design validation, object count, connectivity of components, etc. The method is generic and domain independent.

研究动机与目标

• 自动化检测和分类工程图中的符号，以减少设计验证和文档编制中的手动工作量。
• 通过在不为新符号类型微调的情况下实现零样本分类，解决符号在图纸间变化的挑战。
• 开发一种通用的、与领域无关的系统，通过基于特征的匹配在未见过的模板上运行。
• 提取并解析图例表格，以在工程图中将符号与对应的元件名称关联。

提出的方法

• 采用两阶段方法：首先，结合边缘检测、轮廓分析和模板匹配，检测图例表格以定位文本和符号内容。
• 使用图像处理和裁剪技术从图例中提取参考符号，创建模板库。
• 在多样化工程符号上训练基于YOLO的目标检测器，以在图纸中定位符号。
• 使用预训练的深度神经网络作为特征提取器，为检测到的符号和模板符号生成64维描述符。
• 通过计算检测符号的特征向量与模板符号特征向量之间的欧氏距离进行分类，分配最近似匹配。
• 应用零样本分类策略，模型通过依赖学习到的特征表示而非微调，泛化至未见过的符号类型。

实验结果

研究问题

• RQ1 深度学习模型是否能够在不为每种新符号类型重新训练的情况下检测工程图中的符号？
• RQ2 使用预训练网络进行基于特征的匹配，在零样本条件下对符号分类的效率如何？
• RQ3 图例表格提取在复杂工程图中能在多大程度上提升符号分类的准确性？
• RQ4 当符号外观在图纸间显著变化时，该系统的符号检测与分类性能如何？

主要发现

• 该系统在11份测试图纸中检测到354个符号，其中227个检测位置正确。
• 在检测到的354个符号中，有172个通过基于特征的零样本方法正确分类为对应的模板符号。
• 符号检测器实现了较高的定位精度，但在复杂或杂乱区域（尤其是图纸顶部）漏检了部分符号。
• 特征提取网络生成了具有区分性的嵌入表示，实现了有效的零样本分类，尽管性能低于监督方法。
• 该框架在处理符号变化和泛化至未见过的模板方面表现出鲁棒性，且无需微调。
• 主要局限性在于符号检测器无法检测到所有实例，特别是在高密度或低对比度区域，表明需要改进检测性能。