[論文レビュー] Vision-based inspection system employing computer vision & neural networks for detection of fractures in manufactured components.

Sarthak J. Shetty|arXiv (Cornell University)|Jan 25, 2019

Industrial Vision Systems and Defect Detection参考文献 9被引用数 12

ひとこと要約

本稿では、エッジ検出にOpenCVを、表面亀裂の検出にTensorFlowで微調整されたInception V3モデルを組み合わせたハイブリッドビジョンベースの検査システムを提示する。システムは400枚の画像（正常200枚、亀裂あり200枚）からなるデータセットを用いて、欠陥ありと欠陥なしのギアを高精度に区別する深層学習モデルを訓練する。人間の作業者がコンピュータビジョンの出力を用いて曖昧な予測を検証する。

ABSTRACT

We are proceeding towards the age of automation and robotic integration of our production lines [5]. Effective quality-control systems have to be put in place to maintain the quality of manufactured components. Among different quality-control systems, vision-based inspection systems have gained considerable amount of popularity [8] due to developments in computing power and image processing techniques. In this paper, we present a vision-based inspection system (VBI) as a quality-control system, which not only detects the presence of defects, such as in conventional VBIs, but also leverage developments in machine learning to predict the presence of surface fractures and wearing. We use OpenCV, an open source computer-vision framework, and Tensorflow, an open source machine-learning framework developed by Google Inc., to accomplish the tasks of detection and prediction of presence of surface defects such as fractures of manufactured gears.

研究の動機と目的

• 製造されたギアの表面亀裂を検出する自動的でリアルタイムの品質管理システムを開発すること。
• 従来の画像処理を上回る欠陥検出のため、コンピュータビジョンと機械学習を統合すること。
• 深層学習モデルからの確率的予測を活用することで、人間の検査に依存するのを減らすこと。
• コンピュータビジョンサブシステムの出力を用いて、モデルの予測を人間の作業者が検証すること。
• 小規模で特化したデータセット上でエッジ検出フィルタとトランスファーラーニングを組み合わせることで、検出精度を向上させること。

提案手法

• システムは、グレースケール画像にSobel X、Sobel Y、Laplacian、Sharpenの4つの畳み込みフィルタを適用することで、エッジや潜在的な亀裂を強調する。
• 計算負荷を軽減し、FPGAのような組み込みシステムでの効率を向上させるために、グレースケール変換が用いられる。
• 事前学習済みのInception V3モデルを、400枚のギア画像（正常200枚、亀裂あり200枚）のカスタムデータセット上で微調整することで、転移学習を実施する。
• データセットはGoogle ImagesのWebスクリーパーを用いて収集され、ギア欠陥の多様な視覚的例を含む。
• 過学習を防ぎ、一般化性能を評価するために、60%を訓練用、20%を検証用、20%をテスト用に分割してモデルを訓練する。
• 予測は確率的に行われる：'破損ギア'の確率が0.5を超える場合、部品は不適合としてマークされる。

実験結果

リサーチクエスチョン

• RQ1 従来の方法と比較して、伝統的コンピュータビジョンとディープラーニングを組み合わせたハイブリッドシステムは、製造されたギアの亀裂検出を改善できるか？
• RQ2 小規模でカスタムされたギア画像データセット上で、Inception V3を用いた転移学習は、表面亀裂の分類にどの程度効果的か？
• RQ3 OpenCVベースのエッジ検出は、誤検出や見逃しの欠陥を減らすために、ディープラーニングの予測をどの程度補完できるか？
• RQ4 コンピュータビジョンの出力を用いた人間が関与する検証の統合は、システムの信頼性をどの程度向上させるか？
• RQ5 データセットのサイズは、モデルの予測精度および一般化能力にどのような影響を与えるか？

主な発見

• 微調整されたInception V3モデルは、高い訓練および検証精度を達成し、交差エントロピーが時間経過とともに減少しており、効果的な学習が行われたことを示している。
• システムは多数のギア画像を正しく分類しており、表IIに示すようにテストセットでわずかな誤分類が観察された。
• 1例（シリアル番号2）では、正常なギアが誤って破損とラベル付けされたが、これはデータセットのサイズが限られていることによる制限を示している。
• 畳み込みフィルタを用いたグレースケール画像の使用により、処理速度が向上し、計算負荷が低減された。
• 人間の作業者が曖昧な予測を検証できるように、OpenCVによる視覚フィードバックを統合することで、システムの信頼性が向上した。
• モデルの性能はデータセットのサイズに敏感であり、誤分類エラーを低減するため、データセットの拡大を提案する。