[論文レビュー] Automatic Information Extraction from Piping and Instrumentation Diagrams

Rohit Rahul, Shubham Paliwal+2 more|arXiv (Cornell University)|Jan 28, 2019

Handwritten Text Recognition Techniques参考文献 21被引用数 9

ひとこと要約

本稿では、CTPNを用いたテキスト検出とFCNを用いた記号セグメンテーションという深層学習モデルを組み合わせ、従来の画像処理手法を併用したハイブリッドアプローチを用いて、パイプおよび計器図（P&IDs）からの自動情報抽出のための最初のエンド・ツー・エンドシステムを提示する。この手法は、記号検出において高い正確性（F1スコア ≥ 0.86）を達成し、パイプラインの関連付けに成功しており、ツリー型データ構造を用いてプロセスフローの構造化表現を可能にする。

ABSTRACT

One of the most common modes of representing engineering schematics are Piping and Instrumentation diagrams (P&IDs) that describe the layout of an engineering process flow along with the interconnected process equipment. Over the years, P&ID diagrams have been manually generated, scanned and stored as image files. These files need to be digitized for purposes of inventory management and updation, and easy reference to different components of the schematics. There are several challenging vision problems associated with digitizing real world P&ID diagrams. Real world P&IDs come in several different resolutions, and often contain noisy textual information. Extraction of instrumentation information from these diagrams involves accurate detection of symbols that frequently have minute visual differences between them. Identification of pipelines that may converge and diverge at different points in the image is a further cause for concern. Due to these reasons, to the best of our knowledge, no system has been proposed for end-to-end data extraction from P&ID diagrams. However, with the advent of deep learning and the spectacular successes it has achieved in vision, we hypothesized that it is now possible to re-examine this problem armed with the latest deep learning models. To that end, we present a novel pipeline for information extraction from P&ID sheets via a combination of traditional vision techniques and state-of-the-art deep learning models to identify and isolate pipeline codes, pipelines, inlets and outlets, and for detecting symbols. This is followed by association of the detected components with the appropriate pipeline. The extracted pipeline information is used to populate a tree-like data-structure for capturing the structure of the piping schematics. We evaluated proposed method on a real world dataset of P&ID sheets obtained from an oil firm and have obtained promising results.

研究の動機と目的

• P&ID図は通常スキャン画像として保存されており、機械可読な構造がないため、それらをデジタル化するための自動化されたシステムの不足に対処すること。
• 低解像度の画像、ノイズの多いテキスト、類似度の高い視覚的特徴を示す記号（クラス間の差が小さい）といった、実世界のP&IDデータにおける課題を克服すること。
• P&IDからエンジニアリングデータを抽出・構造化する、耐障害性の高いエンド・ツー・エンドパイプラインの開発。
• 石油会社の実際のデータセットを用いて、産業現場における実用性と性能を評価すること。

提案手法

• ノイズの多いP&ID画像内のテキストパッチを検出・局所化するために、事前学習済みのコネクショニスティック・テキストプロポーザルネットワーク（CTPN）を活用した。
• 独自のデータセットで微調整された完全畳み込みネットワーク（FCN）を用いて、バルブや計器を含む11種類の記号クラスをセグメンテーションおよび分類した。
• 幾何的および接続性制約を用いて、パイプライン、インレット、アウトレットを検出・トレースするためのヒューリスティックなルールベース手法を採用した。
• 空間的およびトポロジカル関係を活用して、記号とテキストを正しいパイプラインにマッピングするルールベースの関連モジュールにより、コンポONENT検出結果を統合した。
• プロセスコンポONENTのフローを捉えるために、ツリー型データ構造を構築し、インレットからアウトレットへの接続性および階層的関係を表現した。
• 実世界のP&IDデータセットが限られているため、データ拡張を適用して深層学習モデルの一般化性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 CTPNやFCNといった深層学習モデルは、視覚的類似度が高く、ノイズの多い低解像度のP&ID画像においても、テキストおよび記号を高い正確性で検出できるか？
• RQ2 深層学習とルールベース手法を組み合わせたハイブリッドシステムは、パイプラインコンポONENT（インレット、アウトレット、記号）を正しいフローパathに正確に検出・関連付けることができるか？
• RQ3 コンポonent関連付け後に、ツリー型データ構造がP&IDスケーマティックの接続性およびフローファイルトロピーをどの程度正確に表現できるか？
• RQ4 産業現場における実際のP&IDシートに対して、このシステムの性能はいかがであり、視覚的ノイズや複雑なレイアウトに対しても有効か？
• RQ5 従来の手動または部分的な自動化手法に起因する制限を克服し、P&IDからのエンド・ツー・エンド情報抽出を達成できるか？

主な発見

• ヒューリスティックなルールベース手法を用いたインレットおよびアウトレットの検出は100%の正確性を達成し、コンポonentの局所化における耐障害性を示した。
• パイプラインコード関連付けの正確性は64.1%（64件中41件）に達し、主にパイプライン検出の誤りとアウトレットとの交差がないことが原因で制限された。
• インレットからパイプラインへの関連付けは96.8%の正確性を達成し、フローエントリーポイントを正しいパスにマッピングする性能の高さを示した。
• FCNを用いた記号検出は、11クラスすべてでF1スコアが0.86以上を達成し、ボールバルブ、グローブバルブNC、断熱材など多くのクラスで適合率と再現率が0.90を超えた。
• 混同行列から、視覚的に類似した記号（例：ボールバルブ vs. グローブバルブ）間のわずかな誤分類が確認されたが、「その他」クラスの適合率は95.5%で、誤検出を低減した。
• 交差エントロピー損失曲線から、過学習が発生せず、有効に学習が行われたことが確認され、検証性能に基づき7000イテレーション目でモデルが保存された。