[论文解读] Defect Transfer GAN: Diverse Defect Synthesis for Data Augmentation

Ruyu Wang, Sabrina Hoppe+2 more|arXiv (Cornell University)|Feb 16, 2023

Industrial Vision Systems and Defect Detection被引用 7

一句话总结

本文提出缺陷迁移生成对抗网络（DT-GAN），一种基于生成对抗网络的框架，可将缺陷的风格与形状从背景产品中解耦，从而合成多样化、逼真的缺陷图像以实现数据增强。通过利用多种产品间共享的缺陷特征，DT-GAN 实现了高保真度、语义有意义的数据增强，在缺陷分类任务中将误差率最高降低 51%，即使每类仅使用 20 个真实缺陷样本亦可实现。

ABSTRACT

Data-hunger and data-imbalance are two major pitfalls in many deep learning approaches. For example, on highly optimized production lines, defective samples are hardly acquired while non-defective samples come almost for free. The defects however often seem to resemble each other, e.g., scratches on different products may only differ in a few characteristics. In this work, we introduce a framework, Defect Transfer GAN (DT-GAN), which learns to represent defect types independent of and across various background products and yet can apply defect-specific styles to generate realistic defective images. An empirical study on the MVTec AD and two additional datasets showcase DT-GAN outperforms state-of-the-art image synthesis methods w.r.t. sample fidelity and diversity in defect generation. We further demonstrate benefits for a critical downstream task in manufacturing -- defect classification. Results show that the augmented data from DT-GAN provides consistent gains even in the few samples regime and reduces the error rate up to 51% compared to both traditional and advanced data augmentation methods.

研究动机与目标

• 解决工业缺陷检测中的数据稀缺与类别不平衡问题，其中缺陷样本稀少且获取成本高昂。
• 克服传统数据增强方法及现有生成对抗网络在生成多样化、语义有意义缺陷方面的局限性。
• 通过在不同背景产品间迁移缺陷模式，同时保留风格与形状的可变性，实现有效的数据增强。
• 通过联合建模具有相似缺陷模式的多个产品的缺陷流形，稳定小样本数据集上的生成对抗网络训练。
• 在真实世界数据约束条件下，展示合成数据在提升下游缺陷分类性能方面的实际应用价值。

提出的方法

• 采用弱监督解耦机制，将输入图像中的前景缺陷（形状与风格）与背景产品分离。
• 显式建模缺陷风格（如轻或重笔触）与形状作为可学习的、解耦的组件，以实现可控生成。
• 使用梯度反转层（GRL）与辅助分类器，强制实样与合成样本间特征的域不变性，提升模型鲁棒性。
• 在多个产品的真实缺陷图像组合上联合训练生成对抗网络，以学习共享的缺陷特征，增强泛化能力并减少过拟合。
• 通过从参考图像中采样或迁移风格与形状，结合任意背景产品，实现可控的图像生成。
• 将传统数据增强方法（如翻转、抖动）与合成样本结合，进一步提升分类器的泛化能力。

实验结果

研究问题

• RQ1 基于生成对抗网络的方法能否通过将缺陷风格与形状从背景产品中解耦，生成多样化、逼真的缺陷图像？
• RQ2 在真实数据有限的情况下，跨多个产品的共享缺陷特征迁移是否能提升数据增强性能？
• RQ3 DT-GAN 是否能在下游缺陷分类任务中超越最先进图像生成与数据增强方法？
• RQ4 将生成对抗网络生成的合成数据与传统增强方法结合，对模型泛化能力与误差率有何影响？
• RQ5 跨产品缺陷迁移在低数据环境下在多大程度上缓解过拟合并提升性能？

主要发现

• 即使每类仅提供 20 个真实缺陷样本，DT-GAN 在缺陷分类任务中的误差率相比传统与先进数据增强方法最高降低 51%。
• 该方法在所有测试数据集（包括 MVTec AD 和两个额外的工业数据集）上均表现出一致的性能提升，证明了其鲁棒性与泛化能力。
• 使用多个产品缺陷进行跨产品缺陷迁移，相比仅使用单一产品缺陷，能带来更优的分类器性能，验证了共享缺陷学习的优势。
• 尽管 FID 分数有时低于最先进生成对抗网络，DT-GAN 在下游分类任务中仍表现更优，表明多样性与语义相关性比原始图像保真度更为关键。
• DT-GAN 与 CutMix 等传统增强方法结合后性能进一步提升，表明二者具有互补优势。
• 最近邻与 LPIPS 分析表明，DT-GAN 生成的缺陷具有多样化的有意义变化，而不会像某些方法那样产生高度相似的样本。