[論文レビュー] VISION Datasets: A Benchmark for Vision-based InduStrial InspectiON

Haoping Bai, Shancong Mou+7 more|arXiv (Cornell University)|Jun 13, 2023

Industrial Vision Systems and Defect Detection被引用数 7

ひとこと要約

VISION Datasetsは、18,000枚の画像と44種類の欠陥を含む14の産業用検査データセットのベンチマークを提供し、すべての分割でインスタンスセグメンテーションマスクを備えることで、教師あり、弱教師あり、半教師あり、教師なしの欠陥検出手法の評価を可能にします。このデータセットは包括的なベンチマークを支援し、視覚ベースの産業用検査システムの発展を促進する2つの継続中のコンテストを提供します。

ABSTRACT

Despite progress in vision-based inspection algorithms, real-world industrial challenges -- specifically in data availability, quality, and complex production requirements -- often remain under-addressed. We introduce the VISION Datasets, a diverse collection of 14 industrial inspection datasets, uniquely poised to meet these challenges. Unlike previous datasets, VISION brings versatility to defect detection, offering annotation masks across all splits and catering to various detection methodologies. Our datasets also feature instance-segmentation annotation, enabling precise defect identification. With a total of 18k images encompassing 44 defect types, VISION strives to mirror a wide range of real-world production scenarios. By supporting two ongoing challenge competitions on the VISION Datasets, we hope to foster further advancements in vision-based industrial inspection.

研究の動機と目的

• 学術研究と現実の産業用視覚ベースの検査の間のギャップを埋めるために、現実的で多様性に富み、スケーラブルなベンチマークを提供すること。
• 既存のデータセットに見られる限界、特にインスタンスレベルのセグメンテーションと複数欠陥シナリオの欠落を克服すること。
• すべてのデータ分割でマスクを提供することで、教師あり、弱教師あり、半教師あり、教師なしのあらゆる欠陥検出手法の研究を支援すること。
• 学術界と産業界の研究者・実務家を巻き込む2つのコンテストを通じてイノベーションを促進すること。
• 少数のサンプル学習、トランスファー学習、データ中心の手法の研究を可能にすることで、モデルの汎化性能とデータ効率を向上させること。

提案手法

• 多様な製造プロセス、素材、製品をカバーする14の産業用検査データセットを収集・キュエートすること。
• 学習、検証、テストの各分割におけるすべての画像にインスタンスセグメンテーションマスクを提供し、正確な欠陥の局所化と個々の欠陥同定を可能にすること。
• 同じ画像内に同種の複数の欠陥を区別することで、アノテーションの一貫性と詳細さを確保すること。
• 自己教師あり、弱教師あり、半教師あり、完全教師ありの多様な学習パラダイムを評価できるようにデータセットを設計すること。
• VISION Datasets上で2つのコンテストを主催し、現実の産業環境下でのアルゴリズム性能のベンチマークとイノベーションを促進すること。
• Hugging Faceを通じてデータセットを公開し、広範なアクセスと再現可能性を確保すること。

Figure 1: Overview of the VISION Datasets.

実験結果

リサーチクエスチョン

• RQ1 VISION Datasetsで学習した視覚ベースの欠陥検出モデルは、素材、プロセス、欠陥タイプが異なる多様な産業環境においても汎化可能だろうか？
• RQ2 大規模で複数欠陥、インスタンスセグメンテーション済みの産業用ベンチマークに適用された場合、教師なしおよび弱教師あり手法の有効性はいかほどだろうか？
• RQ3 セマンティックセグメンテーションと比較して、インスタンスレベルのセグメンテーションは、重複するか複数の欠陥を検出する際のモデル性能をどの程度向上させるのか？
• RQ4 限られたアノテーションを伴う実際の産業用検査データに、データ生成およびデータ中心の技術（例：アクティブラーニング、合成データ）を適用した場合、その性能はどのようになるか？
• RQ5 トランスファー学習やドメイン適応技術は、データセットに完全に含まれていない未観測の欠陥タイプや産業的状況への汎化性能を向上させられるだろうか？

主な発見

• VISION Datasetsは、14のデータセットを含み、18,422枚の画像と44種類の異なる欠陥タイプを有する、これまでで最大かつ最も多様性に富んだ産業用検査ベンチマークである。
• すべてのデータ分割にインスタンスセグメンテーションマスクを含むことで、教師ありおよび弱教師ありの欠陥検出モデルの堅牢な評価が可能となり、これまでは欠落していた能力を実現した。
• このデータセットは、教師なし、弱教師あり、半教師あり、教師ありのすべての主要な学習パラダイムをサポートしており、アルゴリズム研究において他に類を見ない多様性を有する。
• すでに2つのコンテストが実施され、学術界と産業界の協働を促進する上でその有用性が実証された。
• コンテスト参加者は、データセット間での正のトランスファー効果を観察しており、VISION Datasetsで学習したモデルが新たな産業用検査シナリオに汎化可能である可能性を示唆している。
• 限られたデータと複雑なアノテーションという課題に応えるために、スケールで高品質かつ詳細なアノテーションを提供することで、産業上の主要な課題を解決した。