[논문 리뷰] A Comparison of Supervised and Unsupervised Deep Learning Methods for Anomaly Detection in Images

Vincent Wilmet, Sauraj Verma외 3명|arXiv (Cornell University)|2021. 07. 20.

Anomaly Detection Techniques and Applications참고 문헌 7인용 수 4

한 줄 요약

이 논문은 MVTec AD 데이터셋을 사용하여 감독 학습 및 비감독 학습 기반의 딥 러닝 방법을 이미지 이상 탐지에 대해 비교한다. CNN, KD-CAE, NI-CAE, DCGAN을 평가하였으며, 결과적으로 비감독 학습 기반의 오토인코더—특히 KD-CAE—가 감독 학습 기반의 CNN보다 우수한 성능을 보였다. NI-CAE는 트랜지스터 데이터셋에서 뛰어난 성능을 보였으며, 이는 이상 데이터가 부족하거나 레이블이 없는 경우 비감독 학습 방법이 더 효과적임을 확인시켜 준다.

ABSTRACT

Anomaly detection in images plays a significant role for many applications across all industries, such as disease diagnosis in healthcare or quality assurance in manufacturing. Manual inspection of images, when extended over a monotonously repetitive period of time is very time consuming and can lead to anomalies being overlooked.Artificial neural networks have proven themselves very successful on simple, repetitive tasks, in some cases even outperforming humans. Therefore, in this paper we investigate different methods of deep learning, including supervised and unsupervised learning, for anomaly detection applied to a quality assurance use case. We utilize the MVTec anomaly dataset and develop three different models, a CNN for supervised anomaly detection, KD-CAE for autoencoder anomaly detection, NI-CAE for noise induced anomaly detection and a DCGAN for generating reconstructed images. By experiments, we found that KD-CAE performs better on the anomaly datasets compared to CNN and NI-CAE, with NI-CAE performing the best on the Transistor dataset. We also implemented a DCGAN for the creation of new training data but due to computational limitation and lack of extrapolating the mechanics of AnoGAN, we restricted ourselves just to the generation of GAN based images. We conclude that unsupervised methods are more powerful for anomaly detection in images, especially in a setting where only a small amount of anomalous data is available, or the data is unlabeled.

연구 동기 및 목표

• 산업 이미지에서 이상을 탐지하는 데 있어 감독 학습 및 비감독 학습 기반의 딥 러닝 모델의 효과성을 평가하는 것.
• 품질 보증과 같은 실제 응용 분야에서 이상 데이터가 부족하거나 레이블이 없는 문제를 해결하는 것.
• 레이블이 부족한 상황에서 오토인코더와 GAN이 감독 학습의 실용적인 대안이 될 수 있는지 조사하는 것.
• 저데이터 환경에서 이상 탐지 성능 향상을 위해 GAN을 활용한 데이터 증강의 가능성을 탐색하는 것.

제안 방법

• 완전히 레이블이 매겨진 정상 및 이상 이미지를 사용하여 감독 학습 기반의 컨volutional 네트워크(CNN)를 학습시켰다.
• 정상 이미지만을 사용하여 강건한 특징 표현을 학습하기 위해 지식 정복 기반의 컨volutional 오토인코더(KD-CAE)를 구현했다.
• 노이즈 주입을 통해 노이즈 유도 컨volutional 오토인코더(NI-CAE)의 강건성과 재구성 정확도를 향상시켰다.
• 합성 정상 이미지를 생성하기 위해 딥 컨볼루션 GAN(DCGAN)을 학습시켰다. 이는 데이터 증강 목적이다.
• 입력 이미지와 재구성된 이미지 간의 편차를 측정하기 위해 재구성 오차와 구조적 유사도(SSIM)를 사용하여 이상을 탐지했다.
• 여러 개의 MVTec AD 카테고리에서 F1 점수, 정밀도, 재현율, 재구성 품질의 시각적 점검을 통해 모델을 평가했다.

실험 결과

연구 질문

• RQ1 감독 학습 기반의 딥 러닝 모델인 CNN과 비감독 학습 기반의 오토인코더는 산업 이미지 데이터셋에서 이상 탐지에 대해 어떻게 비교될 수 있는가?
• RQ2 노이즈 주입은 컨볼루션 오토인코더의 미세한 이미지 이상 탐지 성능에 어떤 영향을 미치는가?
• RQ3 GAN을 통해 생성된 이미지는 학습 데이터 증강에 효과적으로 기여하여 이상 탐지 성능을 향상시킬 수 있는가?
• RQ4 저데이터 또는 이상 데이터가 없는 상황에서, 감독 학습 기반 모델과 비감독 학습 기반 모델 중 어느 것이 더 뛰어난 탐지 성능을 보이는가?

주요 결과

• 레이블이 매겨진 이상 데이터가 부족하여 CNN 기반 감독 학습 모델의 성능이 열악했으며, 특히 작은 결함에서 F1 점수가 낮게 나타났다.
• KD-CAE는 대부분의 MVTec AD 카테고리에서 CNN 및 NI-CAE를 모두 압도했으며, 뛰어난 일반화 능력과 재구성 정확도를 입증했다.
• NI-CAE는 트랜지스터 데이터셋에서 최고의 성능을 보였으며, 가우시안 노이즈를 주입한 경우 F1 점수의 감소 폭이 오직 2.56%에 그쳐 매우 높은 강건성을 보였다.
• 재구성 오차 분포와 SSIM 차이 지도를 통해 KD-CAE는 복잡한 무늬가 있는 영역에서도 이상 영역을 효과적으로 강조함을 확인했다.
• DCGAN은 현실적인 톱니바위 이미지를 성공적으로 생성하여 데이터 증강 잠재력을 보여주었지만, 계산 자원 제약으로 인해 성능 향상 측정이 이루어지지 않았다.
• 정상 데이터에 과적합하는 것이 이상 탐지에 유리했으며, 이는 이상 영역을 재구성하는 능력을 감소시켜 탐지 민감도를 향상시켰다.