[논문 리뷰] Few-Shot Defect Image Generation via Defect-Aware Feature Manipulation

Yuxuan Duan, Hong Yan외 2명|arXiv (Cornell University)|2023. 03. 04.

Advancements in Photolithography Techniques인용 수 8

한 줄 요약

DFMGAN은 결함 인식 잔차 블록을 StyleGAN2 백본에 부착하여 결함이 없는 이미지에서 학습된 객체 분포를 바탕으로 소수 예제로도 현실적이고 다양한 결함 샘플을 생성하고 결함 마스크를 활용해 하류 결함 검사 성능을 개선합니다.

ABSTRACT

The performances of defect inspection have been severely hindered by insufficient defect images in industries, which can be alleviated by generating more samples as data augmentation. We propose the first defect image generation method in the challenging few-shot cases. Given just a handful of defect images and relatively more defect-free ones, our goal is to augment the dataset with new defect images. Our method consists of two training stages. First, we train a data-efficient StyleGAN2 on defect-free images as the backbone. Second, we attach defect-aware residual blocks to the backbone, which learn to produce reasonable defect masks and accordingly manipulate the features within the masked regions by training the added modules on limited defect images. Extensive experiments on MVTec AD dataset not only validate the effectiveness of our method in generating realistic and diverse defect images, but also manifest the benefits it brings to downstream defect inspection tasks. Codes are available at https://github.com/Ldhlwh/DFMGAN.

연구 동기 및 목표

• 산업용 결함 검사에서 데이터 부족 문제를 해결하기 위해 소수의 실제 예시에서 결함 이미지를 생성합니다.
• 결함이 없는 데이터를 활용해 강건한 객체 분포를 학습하고 이를 영역 중심의 조작을 통해 결함 이미지에 전달합니다.
• 결함 마스크와 제어 가능한 결함 영역을 enable하여 결함 위치 식별 및 분류와 같은 하류 작업을 지원합니다.
• 백본을 고정하고 결함 중심 모듈을 추가하더라도 결함이 없는 이미지를 생성하는 능력을 유지합니다.
• MVTec AD에서 이미지 생성의 품질/다양성과 하류 작업 성능 향상 모두를 입증합니다.

제안 방법

• 결함이 없는 수백 장의 이미지로 데이터 효율적인 StyleGAN2 백본을 사전 학습시켜 결함이 없는 객체 분포를 모델링합니다.
• 결함 마스크와 결함 잔차 특징을 생성하는 결함 인식 잔차 블록을 백본에 부착합니다.
• ToMask 모듈을 사용해 결함 영역을 구분하고 마스크된 영역 내에서만 결함 잔차 특징을 추가합니다(특징 수준의 조작).
• 결함 코드 z_defect를 통해 잔차 블록을 조절하는 결함 매핑 네트워크를 도입해 결함 변이를 제어합니다.
• 실제 결함 영역과 마스크가 일치하도록 추가적인 결함 매칭 판별기를 활용하고 모드 탐색 모드를 통한 다양성 확보 손실을 사용합니다.
• 결함이 비활성화될 때도 결함 없이 생성하는 능력을 유지하기 위해 결함 단계에서 백본 매개변수를 고정합니다.

실험 결과

연구 질문

• RQ1 두 단계 학습 방식(결함이 없는 백본 + 결함 인식 잔차 블록)이 소수 예시로부터 현실적이고 다양한 결함 이미지를 생성할 수 있을까?
• RQ2 영역 중심 결함 조작이 소수 샷 결함 생성에서 전체 이미지 전이 대비 현실감과 다양성을 향상시키나?
• RQ3 모델이 생성하는 결함 마스크가 결함 영역을 정확히 구분하고 하류 위치 식별/분류 작업을 지원하는가?
• RQ4 생성된 결함 샘플이 일반적인 증강을 넘어 하류 결함 검사 성능(예: 결함 분류)을 향상시키는가?
• RQ5 제안 방법이 표준 벤치마크에서 기존의 소수 샷 및 결함 특화 생성 방법과 비교하여 어떤 성능 차이를 보이나?

주요 결과

Method	KID_crack	LPIPS_crack	KID_cut	LPIPS_cut	KID_hole	LPIPS_hole	KID_print	LPIPS_print
Finetune	41.64	0.1541	21.80	0.1192	30.54	0.1263	28.75	0.1526
DiffAug	24.69	0.0570	19.84	0.0456	22.43	0.0466	39.03	0.0604
CDC	206.14	0.0437	213.98	0.0390	271.72	0.0566	355.37	0.0500
Crop&Paste	-	0.1894	-	0.2045	-	0.2108	-	0.2185
SDGAN	148.86	0.1607	161.16	0.1474	152.86	0.1689	176.09	0.1748
Defect-GAN	30.98	0.1905	32.69	0.1734	36.30	0.2007	33.35	0.2007
DFMGAN	19.73	0.2600	16.88	0.2073	20.78	0.2391	27.25	0.2649

• DFMGAN은 헤이즐넛의 네 가지 결함 유형(균열, 절단, 구멍, 프린트)에서 Baseline 대비 더 높은 품질과 다양성을 달성합니다.
• DFMGAN은 헤이즐넛의 모든 네 가지 결함 유형에서 KID 및 LPIPS 클러스터 지표에서 경쟁 방법보다 우수합니다.
• 모델은 정확한 결함 마스크와 함께 결함이 없는 이미지를 쌍으로 생성할 수 있어 결함 위치 식별 작업을 가능하게 합니다.
• 결함 분류 증강 실험에서 DFMGAN은 P1–P3 파티션에서 베이스라인 대비 가장 큰 정확도 향상을 보입니다.
• 고정된 백본으로 2단계 학습을 수행하면 결함 없는 생성 능력을 유지하면서 소량의 결함 샘플로도 현실적인 결함 증강을 가능하게 합니다.