[논문 리뷰] Anomaly Detection in Images

Manpreet Singh Minhas, John Zelek|arXiv (Cornell University)|2019. 05. 09.

Anomaly Detection Techniques and Applications참고 문헌 15인용 수 14

한 줄 요약

이 논문은 사전 훈련된 합성곱 신경망(CNN)을 사용하여 이미지 이상 탐지 문제를 감독형 이진 분류 문제로 간주하는 새로운 네트워크 기반 딥 트랜스퍼 러닝 접근법을 제안한다. 제한된 정상 데이터에서 DenseNet-169, ResNet-152, Inception-V4 등의 모델을 미세 조정함으로써, 벤치마크 전반에서 평균 AUC가 0.99에 도달하는 최신 기술 수준의 성능을 달성하였으며, CIFAR10에서 이전 최고 성능 기법 대비 최대 41% 향상된 성능을 기록하였다.

ABSTRACT

Visual defect assessment is a form of anomaly detection. This is very relevant in finding faults such as cracks and markings in various surface inspection tasks like pavement and automotive parts. The task involves detection of deviation/divergence of anomalous samples from the normal ones. Two of the major challenges in supervised anomaly detection are the lack of labelled training data and the low availability of anomaly instances. Semi-supervised methods which learn the underlying distribution of the normal samples and then measure the deviation/divergence from the estimated model as the anomaly score have limitations in their overall ability to detect anomalies. This paper proposes the application of network-based deep transfer learning using convolutional neural networks (CNNs) for the task of anomaly detection. Single class SVMs have been used in the past with some success, however we hypothesize that deeper networks for single class classification should perform better. Results obtained on established anomaly detection benchmarks as well as on a real-world dataset, show that the proposed method clearly outperforms the existing state-of-the-art methods, by achieving a staggering average area under the receiver operating characteristic curve value of 0.99 for the tested data-sets which is an average improvement of 41% on the CIFAR10, 20% on MNIST and 16% on Cement Crack data-sets.

연구 동기 및 목표

• 이미지 이상 탐지에서 이상 샘플의 가용성이 낮은 문제에 대응하기 위해.
• 딥 CNN을 활용한 트랜스퍼 러닝을 통해 준감독 및 무감독 방법의 한계를 극복하기 위해.
• 소규모 정상 이미지 세트에 대해 사전 훈련된 CNN을 미세 조정함으로써 이상 탐지 성능을 향상시킬 수 있음을 입증하기 위해.
• 트랜스퍼 러닝을 활용한 이미지 이상 탐지의 새로운 최신 기술 수준 기준을 설정하기 위해.
• 표준 벤치마크와 실제 도로 포장 손상 데이터셋 모두에서 방법의 유효성을 검증하기 위해.

제안 방법

• ImageNet에서 사전 훈련된 CNN 아키텍처(예: DenseNet-169, ResNet-152, Inception-V4)를 트랜스퍼 러닝의 소스 모델로 선택하기.
• 사전 훈련된 네트워크의 특징 추출 백본을 고정된 인코더로 사용하여 정상 이미지에서 깊은 특징을 추출하기.
• 소규모이고 균형 잡힌 정상 및 이상 이미지 세트에서 네트워크의 최종 분류 헤드를 미세 조정하기.
• 정상 및 이상 샘플을 구분하기 위해 이진 교차 엔트로피 손실을 사용하여 모델을 훈련하기.
• 최종 레이어의 로짓 또는 특징 표현을 사용하여 학습된 임계값을 기반으로 이상도를 계산하기.
• 이상도에 임계값을 적용하여 테스트 샘플을 정상 또는 이상으로 분류하기.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN을 활용한 네트워크 기반 딥 트랜스퍼 러닝이 기존 최신 기술 수준의 방법보다 이미지 이상 탐지에서 뛰어난 성능을 내는가?
• RQ2 낮은 데이터 환경에서 다양한 CNN 아키텍처(예: DenseNet-169, ResNet-152, Inception-V4)의 이상 탐지 성능는 어떻게 비교되는가?
• RQ3 트랜스퍼 러닝이 이미지 이상 탐지에서 희소한 이상 학습 샘플 문제를 얼마나 효과적으로 완화할 수 있는가?
• RQ4 제안된 방법이 표준 벤치마크를 초월하여 실제 세계 데이터셋에도 잘 일반화되는가?
• RQ5 제한된 정상 데이터에서의 미세 조정이 다양한 이상 유형을 탐지하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 모든 테스트 데이터셋에서 평균 수신기 작동 특성 곡선 아래 면적(AUC)이 0.99에 도달하여 이전 최신 기술 수준 방법보다 뚜렷이 뛰어난 성능을 보였다.
• CIFAR10 데이터셋에서, 이전 최고 성능 기법(GANomaly) 대비 AUC가 41% 향상되었으며, DenseNet-169는 '자동차' 클래스에서 AUC 0.9989를 기록하였다.
• MNIST 데이터셋에서는 모든 숫자에 대해 AUC 값이 0.99 초과를 달성하였으며, DenseNet-169는 숫자 '9'에 대해 AUC 0.999386을 기록하여 GANomaly 대비 41% 향상된 성능을 보였다.
• 실제 세계의 시멘트 균열 데이터셋에서는 DenseNet-169가 AUC 0.999998과 F1 점수 95%를 기록하였으며, 4,000개의 이상 샘플 중에서 오직 7개의 오진 음성 결과만 기록하여 거의 완벽한 혼동 행렬을 보였다.
• ResNet-152와 Inception-V4 역시 시멘트 균열 데이터셋에서 거의 완벽한 성능을 기록하였으며, AUC는 각각 0.999986과 0.998462였다.
• 심지어 각 클래스당 정상 이미지가 2,000장 뿐이어도 성능이 유지되어 낮은 데이터 환경에서도 뛰어난 강건성을 보였다.