[論文レビュー] Synthetic Data Augmentation Using GAN For Improved Automated Visual Inspection

Jože M. Rožanec, Patrik Zajec+4 more|arXiv (Cornell University)|Dec 19, 2022

Industrial Vision Systems and Defect Detection被引用数 4

ひとこと要約

本論文では、製造業における教師あり視覚検査モデルの性能向上を目的として、生成的対抗ネットワーク（GANs）を用いた合成データ拡張を提案している。わずか25%の不良画像を用いてもAUC-ROCスコアが0.9898を超える結果が得られ、ラベル付け作業の負荷を著しく軽減した。従来のオーバーサンプリング手法や非教師あり手法と比較して優れた性能を示した。

ABSTRACT

Quality control is a crucial activity performed by manufacturing companies to ensure their products conform to the requirements and specifications. The introduction of artificial intelligence models enables to automate the visual quality inspection, speeding up the inspection process and ensuring all products are evaluated under the same criteria. In this research, we compare supervised and unsupervised defect detection techniques and explore data augmentation techniques to mitigate the data imbalance in the context of automated visual inspection. Furthermore, we use Generative Adversarial Networks for data augmentation to enhance the classifiers' discriminative performance. Our results show that state-of-the-art unsupervised defect detection does not match the performance of supervised models but can be used to reduce the labeling workload by more than 50%. Furthermore, the best classification performance was achieved considering GAN-based data generation with AUC ROC scores equal to or higher than 0,9898, even when increasing the dataset imbalance by leaving only 25\% of the images denoting defective products. We performed the research with real-world data provided by Philips Consumer Lifestyle BV.

研究の動機と目的

• 製品の品質向上に伴い不良部品の頻度が低下する中で生じる分類の不均衡問題に対処すること。
• 実際の製造現場における状況下で、教師ありと非教師ありの欠陊検出モデルを比較すること。
• 極端な分類の不均衡下で、GANベースのデータ拡張が分類器の性能をどのように向上させるかを評価すること。
• 非教師ありモデルを活用して非不良画像を事前にフィルタリング・ラベル付けすることで、手作業によるラベル付け作業を削減すること。

提案手法

• フィリップス・コンシューマー・ライフスタイルBV社のシェーバー画像の実世界データセットを用い、良好、二重印刷、途切れ印刷の3つのカテゴリに分類した。
• 事前学習済みのResNet18を特徴抽出器として用い、教師ありの多層パーセプトロン（MLP）分類器を訓練した。
• 軽量GANを用いて合成された不良画像を生成し、訓練セットに追加することで、クラスの分布をバランスさせた。
• 従来のオーバーサンプリング手法（SMOTE, ADASYN, RANDOM）および非教師ありのDRAEMと比較した。
• さまざまなレベルのクラス不均衡（25%、50%、75%の不良画像を保持）におけるバイナリおよびマルチクラス設定でのAUC-ROCを評価した。
• クラス不均衡が学習ダイナミクスに与える影響を評価するため、カスタムCNNモデルで重み付きおよび重みなしの損失関数を用いた。

実験結果

リサーチクエスチョン

• RQ1 GANベースのデータ拡張は、極端なクラス不均衡下において、教師あり視覚検査モデルの性能を顕著に向上させることができるか？
• RQ2 実際の産業現場において、最先端の非教師あり欠陊検出（DRAEM）の性能は、教師ありモデルと比べてどの程度か？
• RQ3 非教師ありモデルは、非不良画像を自動で特定・ラベル付けすることで、手作業によるラベル付け作業量をどの程度削減できるか？
• RQ4 AUC-ROCスコアおよび不均衡へのロバストネスの観点から、GANベースのデータ拡張は、SMOTE や ADASYN などの従来のオーバーサンプリング手法を上回るか？
• RQ5 異なる損失関数（重み付き vs. 重みなし）は、不均衡な視覚検査データセット上で学習されるディープラーニングモデルの性能にどのように影響を与えるか？

主な発見

• 最高性能を示したモデルは、GANベースのデータ拡張を用いた結果、AUC-ROCスコアが0.9966に達し、不良画像がたった25%の状況でも常に0.9898を超えた。
• バイナリ分類において、教師ありモデルはSOTAの非教師ありDRAEMモデルをAUC-ROCで最低0.0892点以上上回った。
• GANベースの拡張は、非拡張訓練と比較してAUC-ROCスコアを0.0063～0.0074ポイント向上させ、すべての従来のオーバーサンプリング手法を上回った。
• 非教師ありDRAEMは非不良画像の特定に有効であり、それらの画像を自動でラベル付けすることで、手作業によるラベル付け作業量を50%以上削減できた。
• 事前学習済みResNet18を特徴抽出器として用いたベースラインMLPモデルにGAN拡張を適用した場合が最も高い性能を示したが、カスタムCNNモデルではクラス不均衡が強い状況で損失関数の重み付けが性能を低下させた。
• 従来のオーバーサンプリング手法（SMOTE, ADASYN, RANDOM）は多くの場合性能を向上させたが、GANベースの拡張に到達できず、GBTモデルでは一貫性のない結果を示した。