[논문 리뷰] Defect Transfer GAN: Diverse Defect Synthesis for Data Augmentation

Ruyu Wang, Sabrina Hoppe외 2명|arXiv (Cornell University)|2023. 02. 16.

Industrial Vision Systems and Defect Detection인용 수 7

한 줄 요약

이 논문은 데이터 증강을 위한 다각적이고 현실적인 결함 이미지를 합성하기 위해 배경 제품에서 결함 스타일과 형태를 분리하는 GAN 기반 프레임워크인 Defect Transfer GAN(DT-GAN)을 제안한다. 여러 제품 간 공통되는 결함 특징을 활용함으로써 DT-GAN은 고해상도이자 의미적으로 유의미한 데이터 증강을 달성하여, 클래스당 실재 결함 샘플이 20개뿐인 조건에서도 결함 분류 작업에서 오류율을 최대 51% 감소시킨다.

ABSTRACT

Data-hunger and data-imbalance are two major pitfalls in many deep learning approaches. For example, on highly optimized production lines, defective samples are hardly acquired while non-defective samples come almost for free. The defects however often seem to resemble each other, e.g., scratches on different products may only differ in a few characteristics. In this work, we introduce a framework, Defect Transfer GAN (DT-GAN), which learns to represent defect types independent of and across various background products and yet can apply defect-specific styles to generate realistic defective images. An empirical study on the MVTec AD and two additional datasets showcase DT-GAN outperforms state-of-the-art image synthesis methods w.r.t. sample fidelity and diversity in defect generation. We further demonstrate benefits for a critical downstream task in manufacturing -- defect classification. Results show that the augmented data from DT-GAN provides consistent gains even in the few samples regime and reduces the error rate up to 51% compared to both traditional and advanced data augmentation methods.

연구 동기 및 목표

• 결함 샘플이 드물고 확보하기 어려운 산업용 결함 검출에서 데이터 부족과 클래스 불균형 문제를 해결하기 위해.
• 기존의 전통적 데이터 증강 기법과 기존 GAN이 다양한 의미 있는 결함을 생성하지 못하는 한계를 극복하기 위해.
• 배경 제품 간에 결함 패턴을 전이함으로써 스타일과 형태의 다양성을 유지하면서 효과적인 데이터 증강을 가능하게 하기 위해.
• 유사한 결함 패턴을 가진 다수의 제품에서의 결함 다양성을 함께 모델링하여 소규모 데이터셋에서도 GAN 학습을 안정화하기 위해.
• 실제 데이터 제약 조건 하에서 합성 데이터의 실용적 유용성을 입증하기 위해.

제안 방법

• 입력 이미지에서 전경 결함(형태 및 스타일)을 배경 제품과 분리하기 위해 약한 지도 학습 기반의 분리 메커니즘을 사용한다.
• 제어 가능한 생성을 위해 결함 스타일(예: 밝은 또는 진한 선)과 형태를 학습 가능한 분리된 구성요소로 명시적으로 모델링한다.
• 실제 및 합성 샘플 간의 도메인 불변 특징을 강제하기 위해 보조 분류기와 함께 기울기 반전 레이어(GRL)를 사용하여 강건성을 향상시킨다.
• 다양한 제품의 결함 이미지를 조합하여 학습함으로써 공통된 결함 특징을 학습함으로써 일반화 능력을 향상시키고 과적합을 줄인다.
• 기타 배경 제품과 조합하면서 參고 이미지에서 스타일과 형태를 샘플링하거나 전이함으로써 제어 가능한 이미지 합성을 가능하게 한다.
• 전통적인 데이터 증강 기법(예: 플립, 저자국)을 합성 샘플과 융합하여 분류기의 일반화 능력을 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 배경 제품에서 결함 스타일과 형태를 분리함으로써 GAN 기반 방법이 다양한 현실적인 결함 이미지를 생성할 수 있는가?
• RQ2 여러 제품 간에 공통되는 결함 특징을 전이함으로써 제한된 실재 데이터에서 데이터 증강 성능이 향상되는가?
• RQ3 DT-GAN이 최신의 이미지 합성 및 데이터 증강 방법보다 후행 결함 분류 작업에서 슈퍼리어한 성능을 내는가?
• RQ4 GAN으로 생성된 합성 데이터와 전통적 증강 기법의 조합이 모델의 일반화 능력과 오류율에 어떤 영향을 미치는가?
• RQ5 제품 간 결함 전이가 저데이터 환경에서 과적합을 얼마나 줄이고 성능을 향상시키는가?

주요 결과

• DT-GAN은 실재 결함 샘플이 클래스당 20개뿐인 조건에서도 기존의 전통적 및 고급 데이터 증강 기법에 비해 오류율을 최대 51% 감소시킨다.
• MVTec AD와 두 개의 추가 산업 데이터셋을 포함한 모든 테스트 데이터셋에서 일관된 성능 향상을 달성하여 강건성과 일반화 능력을 입증한다.
• 다양한 제품에서 온 결함 전이(크로스-프로덕트 결함 전이)는 단일 제품에서의 결함을 사용하는 것보다 더 뛰어난 분류기 성능을 보이며, 공통된 결함 학습의 유용성을 입증한다.
• 때로는 FID 점수가 낮아도 DT-GAN은 최신 GAN보다 후행 분류 성능에서 슈퍼리어한 성능을 내어, 해상도보다 다양성과 의미적 관련성이 더 중요하다는 것을 시사한다.
• DT-GAN과 CutMix와 같은 전통적 증강 기법의 조합은 성능을 더욱 향상시키며, 상호보완적인 이점이 있음을 시사한다.
• 최근접 이웃 및 LPIPS 분석을 통해 DT-GAN은 유사한 샘플을 생성하는 방법들과는 달리 의미 있는 다양성을 가진 다양한 결함을 생성함을 확인한다.