[論文レビュー] Active Learning for Automated Visual Inspection of Manufactured Products

Elena Trajkova, Jože M. Rožanec+3 more|arXiv (Cornell University)|Sep 6, 2021

Machine Learning and Algorithms参考文献 10被引用数 4

ひとこと要約

本稿では、実際の製造業界のシェーバー欠陥画像を用いて、5つの機械学習モデルを用いて、プールベース、ストリームベース、クエリ・バイ・コミ mittee（QBC）戦略を比較した、自動視覚検査のためのアクティブラーニングフレームワークを提案している。MLPモデルが最高のAUC-ROC（0.9840）を達成し、他のアクティブラーニング手法に比べて優れた性能を示した。

ABSTRACT

Quality control is a key activity performed by manufacturing enterprises to ensure products meet quality standards and avoid potential damage to the brand's reputation. The decreased cost of sensors and connectivity enabled an increasing digitalization of manufacturing. In addition, artificial intelligence enables higher degrees of automation, reducing overall costs and time required for defect inspection. In this research, we compare three active learning approaches and five machine learning algorithms applied to visual defect inspection with real-world data provided by Philips Consumer Lifestyle BV. Our results show that active learning reduces the data labeling effort without detriment to the models' performance.

研究の動機と目的

• 産業的視覚欠陥検出におけるラベル付け作業の削減を目的としたアクティブラーニング戦略の評価。
• ガウス・ナイーブベイズ、CART、線形SVM、MLP、kNNの5つの機械学習モデルが、実際のマルチクラス欠陊分類タスクにおいてどのように性能を発揮するかを比較すること。
• 特に不均衡な産業データセットにおいて、ラベル付き例を減らしてもモデル性能が向上するかどうかを評価すること。
• アクティブラーニングサイクルの進行に伴い、性能向上が統計的に有意であるかどうかを評価すること。
• 自動視覚検査における製造業界の文脈で、最も効果的なアクティブラーニング戦略と機械学習モデルの組み合わせを特定すること。

提案手法

• プールベースサンプリング、ストリームベースサンプリング（不確実性サンプリングを用いて）、およびクエリ・バイ・コミットリーの3つのアクティブラーニング戦略を適用した。
• 実際の1,000枚のシェーバー画像から成るデータセット（良好、二重印刷、印刷途切れた欠陥の3クラス）を用い、ガウス・ナイーブベイズ、CART、線形SVM、MLP、k-近傍法の5つの機械学習モデルを訓練した。
• モデル性能を評価するために10分割交差検証を用い、予測スコアの閾値0.5におけるAUC-ROCを測定した。
• プールベースおよびストリームベース設定では不確実性に基づく獲得関数を用い、クエリ・バイ・コミットリーでは委員会の合意不一致を用いて、最も情報量の多いサンプルを選択した。
• アクティブラーニングの各シナリオ間およびモデル性能の時間的推移における差の統計的有意性を評価するために、ウィルコクソン符号順位検定を適用した。
• アクティブラーニングサイクルにおける学習進捗を評価するため、テスト分割の最初の四分位と最後の四分位の間でのモデル改善を評価した。

実験結果

リサーチクエスチョン

• RQ1 プールベース、ストリームベース、クエリ・バイ・コミットリーのうち、どれが最小限のラベル付け作業で最も高い欠陥検出性能を達成するか？
• RQ2 異なる機械学習モデル（ナイーブベイズ、CART、SVM、MLP、kNN）は、実際の産業的欠陥検出シナリオにおいて、3つのアクティブラーニング戦略でどのように性能を発揮するか？
• RQ3 アクティブラーニングサイクルの進行に伴い、特にラベル付けの初期段階と後期段階の間で、モデル性能に統計的に有意な向上が見られるか？
• RQ4 クエリ・バイ・コミットリー戦略は、異なるモデルやデータ分割に対して一貫して他のアクティブラーニング手法を上回る性能を示すか？
• RQ5 不均衡で現実的な製造データセットにおいて、アクティブラーニングはラベル付けコストを効果的に削減しつつ、高いAUC-ROC性能を維持できるか？

主な発見

• MLPモデルは、すべてのアクティブラーニングシナリオにおいて最高のAUC-ROC（0.9840）を達成し、ほとんどの交差検証分割で他のすべてのモデルを上回った。
• クエリ・バイ・コミットリーのアクティブラーニングは、2番目に高い性能を示し、AUC-ROC値が常に0.97以上であり、MLPを除くすべてのモデルと比較して統計的に有意な改善を示した。
• プールベースとストリームベースのアクティブラーニング戦略間に有意な差は認められず、ほとんどの比較でp値 > 0.05であった。
• SVMモデルは全体で3番目に高い順位を記録し、AUC-ROC値は約0.972であった。また、アクティブラーニング戦略間で有意差は認められず（p > 0.05）。
• CARTモデルは最も悪い性能を示し、AUC-ROC値は0.78未満であり、どのアクティブラーニングシナリオでも時間の経過に伴う有意な改善が見られなかった。
• どのアクティブラーニング戦略に対しても、テスト分割の最初の四分位と最後の四分位の間で有意な改善は観察されず、ラベル付けサイクル中の学習進捗が限定的であることが示された。