[論文レビュー] Automatic Detection and Classification of Symbols in Engineering Drawings

Sourish Sarkar, Pranav Kumar Pandey+1 more|arXiv (Cornell University)|Apr 28, 2022

Manufacturing Process and Optimization被引用数 12

ひとこと要約

本論文は、事前学習済み畳み込みニューラルネットワークを用いて、エンジニアリング図面内の記号の自動検出および分類を実現するゼロショットディープラーニングフレームワークを提案する。図面全体にわたる記号の検出には微調整されたオブジェクト検出器を用い、図面の凡例テーブルを抽出することで、テンプレート記号との特徴埋め込みの比較により記号を分類する。評価では、354個の検出記号のうち172個が正しく分類された。

ABSTRACT

A method of finding and classifying various components and objects in a design diagram, drawing, or planning layout is proposed. The method automatically finds the objects present in a legend table and finds their position, count and related information with the help of multiple deep neural networks. The method is pre-trained on several drawings or design templates to learn the feature set that may help in representing the new templates. For a template not seen before, it does not require any training with template dataset. The proposed method may be useful in multiple industry applications such as design validation, object count, connectivity of components, etc. The method is generic and domain independent.

研究の動機と目的

• エンジニアリング図面内の記号の検出および分類を自動化し、設計検証および文書作成における人的作業を削減すること。
• 新しい記号タイプに対して再トレーニングを行わずに、記号の変動に耐えるゼロショット分類を可能にすることにより、図面間での記号変動の課題に対処すること。
• 特徴ベースのマッチングを用いて、未学習のテンプレートに対しても動作する汎用的かつドメインに依存しないシステムを構築すること。
• 凡例テーブルを抽出・解釈し、エンジニアリング図の記号と部品名を関連付けること。

提案手法

• 2段階のアプローチ：まず、エッジ検出、輪郭解析、テンプレートマッチングの組み合わせを用いて凡例テーブルを検出し、テキストおよび記号的コンテンツの位置を特定する。
• 画像処理およびクローリング技術を用いて凡例から参照記号を抽出し、テンプレートライブラリを作成する。
• 多様なエンジニアリング記号で微調整されたYOLOベースのオブジェクト検出器をトレーニングし、図面全体にわたる記号の局所化を実現する。
• 事前学習済みディープニューラルネットワークを特徴抽出器として用い、検出記号およびテンプレート記号の両方に対して64次元の記述子を生成する。
• 検出記号の特徴ベクトルとテンプレート記号の特徴ベクトルとの間のユークリッド距離を計算し、最も近いマッチングを割り当てることで分類する。
• 微調整に依存せず、学習済み特徴表現に依存することで、未学習の記号タイプに対しても一般化可能なゼロショット分類戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 新しい記号タイプに対して再トレーニングを必要とせずに、ディープラーニングモデルがエンジニアリング図面内の記号を検出できるか？
• RQ2 事前学習済みネットワークを用いた特徴ベースのマッチングは、ゼロショットの文脈で記号分類にどの程度効果的か？
• RQ3 凡例テーブル抽出は、複雑なエンジニアリング図面における記号分類精度をどの程度向上できるか？
• RQ4 記号の外観が図面間で著しく異なる場合、システムの記号検出および分類性能はどの程度か？

主な発見

• 11枚のテスト図面全体で354個の記号が検出され、そのうち227個が正しく局所化された。
• 354個の検出記号のうち、172個が特徴ベースのゼロショットアプローチにより対応するテンプレート記号に正しく分類された。
• 記号検出器は高い局所化精度を達成したが、特に図面の上部に位置する複雑またはごみだらけの領域では記号を漏れやすくした。
• 特徴抽出ネットワークは判別性の高い埋め込みを生成し、効果的なゼロショット分類を可能にしたが、教師あり手法に比べて性能は劣った。
• フレームワークは、記号の変動に強く、微調整なしで未学習のテンプレートに対しても一般化を示した。
• 主な制限要因は、記号検出器がすべてのインスタンスを検出できないこと、特に高密度またはコントラストが低い領域で顕著であり、検出性能の向上が求められる。