[論文レビュー] Few-Shot Defect Image Generation via Defect-Aware Feature Manipulation

Yuxuan Duan, Hong Yan+2 more|arXiv (Cornell University)|Mar 4, 2023

Advancements in Photolithography Techniques被引用数 8

ひとこと要約

DFM GAN は defect-aware residual blocks を StyleGAN2 バックボーンに接続することで few-shot 欠陥画像生成を実現し、欠陥マスク付きの現実的で多様な欠陥サンプルと下流の欠陥検査性能の改善を可能にする。

ABSTRACT

The performances of defect inspection have been severely hindered by insufficient defect images in industries, which can be alleviated by generating more samples as data augmentation. We propose the first defect image generation method in the challenging few-shot cases. Given just a handful of defect images and relatively more defect-free ones, our goal is to augment the dataset with new defect images. Our method consists of two training stages. First, we train a data-efficient StyleGAN2 on defect-free images as the backbone. Second, we attach defect-aware residual blocks to the backbone, which learn to produce reasonable defect masks and accordingly manipulate the features within the masked regions by training the added modules on limited defect images. Extensive experiments on MVTec AD dataset not only validate the effectiveness of our method in generating realistic and diverse defect images, but also manifest the benefits it brings to downstream defect inspection tasks. Codes are available at https://github.com/Ldhlwh/DFMGAN.

研究の動機と目的

• 産業用欠陥検査におけるデータ不足を、少数の実例から欠陥画像を生成することで解決する。
• 欠陥なしデータを活用して頑健なオブジェクト分布を学習し、それを領域に焦点を当てた操作によって欠陥画像へ転送する。
• 欠陥マスクと制御可能な欠陥領域を実装し、欠陥局在化・分類などの下流タスクを支援する。
• バックボーンを固定しつつ、欠陥に焦点を当てたモジュールを追加して欠陥なし画像生成能力を維持する。
• 欠陥生成の品質・多様性と下流タスクの改善の両方において、MVTec AD での有用性を示す。

提案手法

• 欠陥なし画像 hundreds of defect-free images に対してデータ効率の高い StyleGAN2 バックボーンを事前訓練し、欠陥なしオブジェクト分布をモデリングする。
• バックボーンに欠陥を意識した residual blocks を追加し、欠陥マスクと欠陥 residual features を生成する。
• ToMask モジュールを用いて欠陥領域を区切り、masked region 内でのみ欠陥 residual features を追加する（特徴レベルの操作）。
• 欠陥変動を制御する欠陥マッピングネットワークを導入し、欠陥コード z_defect が residual blocks を調整する。
• マスクが実際の欠陥領域と一致することを保証する追加の欠陥マッチング判別器を用い、モード探索損失を用いて欠陥間の多様性を向上させる。
• 欠陥が無効化された場合にも欠陥なし生成能力を維持するため、欠陥ステージでバックボーンのパラメータを固定する。

実験結果

リサーチクエスチョン

• RQ1 二段階学習アプローチ（欠陥なしバックボーン + 欠陥認識 residual blocks）は、少数の例から現実的で多様な欠陥画像を生成できるか。
• RQ2 領域焦点の欠陥操作は、少数ショット欠陥生成において全画像転送と比べて現実感と多様性を向上させるか。
• RQ3 モデルが生成する欠陥マスクは欠陥領域を正確に区分し、下流の局在化/分類タスクを支援するか。
• RQ4 生成した欠陥サンプルは、従来の増強を超えて欠陥検査の下流性能（例：欠陥分類）を向上させるか。
• RQ5 提案手法は、標準ベンチマーク上の既存の few-shot および欠陥特化生成法と比較してどの程度優れているか。

主な発見

Method	KID_crack	LPIPS_crack	KID_cut	LPIPS_cut	KID_hole	LPIPS_hole	KID_print	LPIPS_print
Finetune	41.64	0.1541	21.80	0.1192	30.54	0.1263	28.75	0.1526
DiffAug	24.69	0.0570	19.84	0.0456	22.43	0.0466	39.03	0.0604
CDC	206.14	0.0437	213.98	0.0390	271.72	0.0566	355.37	0.0500
Crop&Paste	-	0.1894	-	0.2045	-	0.2108	-	0.2185
SDGAN	148.86	0.1607	161.16	0.1474	152.86	0.1689	176.09	0.1748
Defect-GAN	30.98	0.1905	32.69	0.1734	36.30	0.2007	33.35	0.2007
DFMGAN	19.73	0.2600	16.88	0.2073	20.78	0.2391	27.25	0.2649

• DFMGAN は hazelnut の複数欠陥カテゴリ（亀裂、切断、穴、印刷）において、ベースラインより高い品質と多様性の欠陥画像を達成した。
• hazelnut の4つの欠陥タイプ全てで KID および clustered LPIPS 指標が競合法を上回った。
• 欠陥なし画像と正確な欠陥マスクの組み合わせを生成でき、欠陥局在化タスクを可能にする。
• 欠陥分類の増強実験で、P1–P3 の各パーティションで他の方法を上回る最も高い精度向上を示した。
• バックボーンを固定した二段階訓練は欠陥なし生成を保持しつつ、少数の欠陥サンプルで現実的な欠陥増強を可能にした。