[論文レビュー] Industrial Segment Anything -- a Case Study in Aircraft Manufacturing, Intralogistics, Maintenance, Repair, and Overhaul

Keno Moenck, Arne Wendt+10 more|arXiv (Cornell University)|Jul 24, 2023

Industrial Vision Systems and Defect Detection被引用数 9

ひとこと要約

本論文は、Segment Anything Model (SAM) を航空機製造ドメインに適用する方法を概説し、ドメイン特化の微調整を行わずに製造、 intralogistics、MRO のユースケースを強調しています。 prompting 戦略、ドメイン知識の注入、潜在的なワークフローについて論じます。

ABSTRACT

Deploying deep learning-based applications in specialized domains like the aircraft production industry typically suffers from the training data availability problem. Only a few datasets represent non-everyday objects, situations, and tasks. Recent advantages in research around Vision Foundation Models (VFM) opened a new area of tasks and models with high generalization capabilities in non-semantic and semantic predictions. As recently demonstrated by the Segment Anything Project, exploiting VFM's zero-shot capabilities is a promising direction in tackling the boundaries spanned by data, context, and sensor variety. Although, investigating its application within specific domains is subject to ongoing research. This paper contributes here by surveying applications of the SAM in aircraft production-specific use cases. We include manufacturing, intralogistics, as well as maintenance, repair, and overhaul processes, also representing a variety of other neighboring industrial domains. Besides presenting the various use cases, we further discuss the injection of domain knowledge.

研究の動機と目的

• データが乏しい航空機製造ドメインにおける Vision Foundation Models、特に SAM の適用可能性を評価する。
• 広範なドメイン特化の微調整を行わずに、SAM を製造、 intralogistics、MRO に活用する方法を探る。
• SAM ベースのソリューションにドメイン知識を注入するプロンプト戦略とワークフロー概念を特定する。

提案手法

• SAM アーキテクチャとゼロショット分割機能を説明する。
• プロンプト分類体系と prompting 戦略（grid、single point、foreground/background、bounding box、text）を説明する。
• SAM 出力を組み込んだ製造、 intralogistics、MRO のユースケース駆動のワークフローを提示する。
• ドメイン知識との統合ポイントと潜在的な微調整アプローチについて論じる。
• 適用可能性を示すために航空機関連シナリオからの定性的な例を提供する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングなしで、SAM は航空機製造、 intralogistics、MRO において価値のあるドメイン横断のセグメンテーションを提供できるか？
• RQ2 複雑でドメイン特化した産業シーンで効果的な SAM の活用を可能にするプロンプト戦略は何か？
• RQ3 航空関連プロセスにおける SAM 出力を高めるために、ドメイン知識をどのように注入できるか？
• RQ4 組立モニタリング、品質管理、材料取り扱い、MRO 活動のための具体的な SAM 有効ワークフローは何か？

主な発見

• SAM は、ドメイン特化のトレーニングなしで、航空機製造のユースケース全体にわたるゼロショット分割能力を示す。
• さまざまな prompting 戦略（grid、single point、foreground/background、bounding box、text prompts）は、複雑なアセンブリや QA タスクに有用なマスクを生成できる。
• SAM 生成マスクは注釈付け、欠陥文書化、部品認識を支援し、品質管理と検査における手動のセグメンテーション作業を削減する。
• GroundedSAM およびテキストプロンプトは、 intralogistics の文脈で異常検知や廃棄/汚染の特定を支援できる。
• prompting ベースのセグメンテーションは、製造と物流のワークフローの迅速な前処理および後処理を可能にし、ラベリングコストの削減につながる可能性がある。