[论文解读] Automatic Information Extraction from Piping and Instrumentation Diagrams

Rohit Rahul, Shubham Paliwal+2 more|arXiv (Cornell University)|Jan 28, 2019

Handwritten Text Recognition Techniques参考文献 21被引用 9

一句话总结

本文提出首个基于混合方法的端到端系统，用于从管道和仪表图（P&IDs）中自动提取信息，结合了深度学习模型（CTPN用于文本检测，FCN用于符号分割）与传统图像处理技术（用于管道、入口和出口检测）。该方法在符号检测方面表现出高精度（F1得分 ≥ 0.86），并成功实现管道关联，通过基于树状的数据模型实现了流程的结构化表示。

ABSTRACT

One of the most common modes of representing engineering schematics are Piping and Instrumentation diagrams (P&IDs) that describe the layout of an engineering process flow along with the interconnected process equipment. Over the years, P&ID diagrams have been manually generated, scanned and stored as image files. These files need to be digitized for purposes of inventory management and updation, and easy reference to different components of the schematics. There are several challenging vision problems associated with digitizing real world P&ID diagrams. Real world P&IDs come in several different resolutions, and often contain noisy textual information. Extraction of instrumentation information from these diagrams involves accurate detection of symbols that frequently have minute visual differences between them. Identification of pipelines that may converge and diverge at different points in the image is a further cause for concern. Due to these reasons, to the best of our knowledge, no system has been proposed for end-to-end data extraction from P&ID diagrams. However, with the advent of deep learning and the spectacular successes it has achieved in vision, we hypothesized that it is now possible to re-examine this problem armed with the latest deep learning models. To that end, we present a novel pipeline for information extraction from P&ID sheets via a combination of traditional vision techniques and state-of-the-art deep learning models to identify and isolate pipeline codes, pipelines, inlets and outlets, and for detecting symbols. This is followed by association of the detected components with the appropriate pipeline. The extracted pipeline information is used to populate a tree-like data-structure for capturing the structure of the piping schematics. We evaluated proposed method on a real world dataset of P&ID sheets obtained from an oil firm and have obtained promising results.

研究动机与目标

• 为解决P&ID图谱缺乏自动化系统的问题，这些图谱通常以扫描图像形式存储，缺乏机器可读结构。
• 克服真实P&ID数据中的挑战，如低分辨率图像、噪声文本以及视觉上相似且类间差异极小的符号。
• 开发一个稳健的端到端流程，从P&IDs中提取并结构化工程数据，用于库存管理和流程分析。
• 在某石油公司提供的真实世界数据集上评估系统，证明其在工业环境中的可行性与性能。

提出的方法

• 使用预训练的连接主义文本候选网络（CTPN）检测并定位噪声P&ID图像中的文本区域。
• 应用在自定义数据集上微调的全卷积网络（FCN），对11类符号（包括阀门和仪表）进行分割与分类。
• 采用启发式规则方法，利用几何与连通性约束检测并追踪管道、入口和出口。
• 通过基于规则的关联模块整合组件检测结果，利用空间与拓扑关系将符号和文本映射到正确的管道路径。
• 构建基于树状的数据结构以建模流程组件的流动，捕捉入口到出口的连接关系及层次结构。
• 应用数据增强技术以弥补真实P&ID数据集有限的问题，提升深度学习模型的泛化能力。

实验结果

研究问题

• RQ1 像CTPN和FCN这样的深度学习模型能否在具有高类间视觉相似性的噪声、低分辨率P&ID图像中有效检测文本和符号？
• RQ2 结合深度学习与基于规则的方法的混合系统，能否准确检测并关联管道组件（入口、出口、符号）到正确的流程路径？
• RQ3 树状数据结构在组件关联后，能在多大程度上准确表示P&ID示意图的连接性和流动拓扑？
• RQ4 该系统在工业环境中真实P&ID图纸上的表现如何，特别是在处理视觉噪声和复杂布局方面？
• RQ5 该系统能否实现从P&IDs中端到端的信息提取，克服以往人工或部分自动化方法的局限？

主要发现

• 通过启发式规则方法检测入口和出口的准确率达到100%，表明在组件定位方面具有强鲁棒性。
• 管道代码关联准确率为64.1%（64个中正确识别41个），主要受限于管道检测错误以及与出口不相交的情况。
• 入口到管道的关联准确率达96.8%，表明在将流程入口点映射到正确路径方面表现优异。
• 使用FCN进行符号检测，所有11个类别的F1得分均超过0.86，多数类别的精确率和召回率超过0.90，包括ball_valve、globe_valve_nc和insulation。
• 混淆矩阵显示，视觉上相似的符号之间存在少量误分类（如ball_valve与globe_valve），但“Others”类别的精确率达95.5%，显著降低了误报。
• 交叉熵损失曲线表明训练过程有效且无过拟合现象，模型在7000次迭代时基于验证性能被保存。