[논문 리뷰] Synthetic Data Augmentation Using GAN For Improved Automated Visual Inspection

Jože M. Rožanec, Patrik Zajec외 4명|arXiv (Cornell University)|2022. 12. 19.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 논문은 제조 분야의 감독형 시각 검사 모델 성능을 햖스하기 위해 생성적 적대 기반 네트워크(GANs)를 활용한 합성 데이터 증강 기법을 제안한다. 조건부로 결함이 있는 이미지 비율이 25%일 때조차 AUC-ROC 점수가 0.9898를 초과하는 성과를 기록하며, 실제 결함 이미지의 레이블링 작업을 크게 줄였다. 이 방법은 전통적인 오버샘플링 기법과 비슷한 수준의 성능을 보이며, 비지도 학습 기법보다도 뛰어난 성능을 발휘한다.

ABSTRACT

Quality control is a crucial activity performed by manufacturing companies to ensure their products conform to the requirements and specifications. The introduction of artificial intelligence models enables to automate the visual quality inspection, speeding up the inspection process and ensuring all products are evaluated under the same criteria. In this research, we compare supervised and unsupervised defect detection techniques and explore data augmentation techniques to mitigate the data imbalance in the context of automated visual inspection. Furthermore, we use Generative Adversarial Networks for data augmentation to enhance the classifiers' discriminative performance. Our results show that state-of-the-art unsupervised defect detection does not match the performance of supervised models but can be used to reduce the labeling workload by more than 50%. Furthermore, the best classification performance was achieved considering GAN-based data generation with AUC ROC scores equal to or higher than 0,9898, even when increasing the dataset imbalance by leaving only 25\% of the images denoting defective products. We performed the research with real-world data provided by Philips Consumer Lifestyle BV.

연구 동기 및 목표

• 제품 품질 향상과 함께 결함 부품의 빈도 감소로 인한 자동 시각 검사에서의 클래스 불균형 문제를 해결하기 위해.
• 실제 제조 환경에서 감독형과 비감독형 결함 탐지 모델의 성능을 비교하기 위해.
• 극심한 클래스 불균형 조건에서 GAN 기반 데이터 증강 기법이 분류기 성능 향상에 얼마나 효과적인지 평가하기 위해.
• 비감독 모델을 활용해 결함이 없는 이미지를 사전에 필터링하고 레이블링하는 방식으로 수동 레이블링 작업량을 줄이기 위해.

제안 방법

• 필립스 콘sumer 라이프스타일 BV에서 제공한 전기면도기 이미지 실세계 데이터셋을 사용하였으며, 이는 양호, 이중 인쇄, 인쇄 끊김 결함으로 분류되었다.
• 사전 훈련된 ResNet18을 특징 추출기로 사용한 감독형 다층 퍼셉트론(MLP) 분류기 모델을 훈련시켰다.
• 경량 GAN을 활용해 합성된 결함 이미지를 생성하여, 훈련 세트에 추가함으로써 클래스 분포의 균형을 맞췄다.
• 기존 오버샘플링 기법(SMOTE, ADASYN, RANDOM)과 비지도 학습 기반 DRAEM을 비교하기 위해 GAN 기반 증강 기법을 적용하였다.
• 다양한 수준의 클래스 불균형(25%, 50%, 75% 결함 이미지 유지)에서 이진 및 다중 클래스 설정에서 AUC-ROC를 사용해 성능을 평가하였다.
• 클래스 불균형이 훈련 동역학에 미치는 영향을 평가하기 위해 커스터마이징된 CNN 모델에서 가중치가 부여된 및 부여되지 않은 손실 함수를 사용하였다.

실험 결과

연구 질문

• RQ1 GAN 기반 데이터 증강 기법이 극심한 클래스 불균형 조건에서 감독형 시각 검사 모델의 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 실제 산업 환경에서 최신 비감독 결함 탐지 기법(DRAEM)의 성능이 감독형 모델보다 어떻게 비교되는가?
• RQ3 비감독 모델이 자동으로 결함이 없는 이미지를 식별하고 레이블링함으로써 수동 레이블링 작업량을 얼마나 줄일 수 있는가?
• RQ4 AUC-ROC 점수와 불균형에 대한 강건성 측면에서, GAN 기반 증강 기법이 SMOTE 및 ADASYN 등의 기존 오버샘플링 기법보다 뛰어나게 성능을 발휘하는가?
• RQ5 다양한 손실 함수(가중치 부여된 vs. 부여되지 않은)가 불균형한 시각 검사 데이터셋에서 딥러닝 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 최고의 성능을 보인 모델은 GAN 기반 데이터 증강을 사용하여 AUC-ROC 점수 0.9966를 기록했으며, 결함 이미지 비율이 25%일 때조차 항상 0.9898 이상의 점수를 확보했다.
• 이진 분류 설정에서 감독형 모델은 최신 비감독 DRAEM 모델보다 최소 0.0892 이상의 AUC-ROC 점수를 확보했다.
• GAN 기반 증강은 비증강 훈련 대비 0.0063~0.0074 AUC-ROC 포인트 향상시켰으며, 모든 기존 오버샘플링 기법보다 뛰어난 성능을 보였다.
• 비감독 DRAEM은 결함이 없는 이미지를 효과적으로 식별하여 자동으로 레이블링할 수 있었고, 이로 인해 수동 레이블링 작업량을 50% 이상 감소시켰다.
• 사전 훈련된 ResNet18 특징 추출기와 GAN 증강을 적용한 기본 MLP 모델이 가장 높은 성능을 기록했으며, 커스터마이징된 CNN 모델에서 손실 함수의 가중치 부여는 강한 클래스 불균형 조건에서 성능 저하를 초래했다.
• 기존 오버샘플링 기법(SMOTE, ADASYN, RANDOM)은 대부분의 경우 성능 향상을 보였지만, GAN 기반 증강을 능가하지 못했으며, GBT 모델에서는 일관되지 않은 결과를 보였다.