[논문 리뷰] CutPaste: Self-Supervised Learning for Anomaly Detection and Localization

Chunliang Li, Kihyuk Sohn외 2명|arXiv (Cornell University)|2021. 04. 08.

Anomaly Detection Techniques and Applications인용 수 86

한 줄 요약

자기지도 학습 기반 CutPaste 방법은 정상 데이터로부터 표현을 학습해 미지의 이미지 결함을 탐지하고 위치를 파악하며, 이상 데이터 없이도 MVTec AD에서 최첨단 결과를 달성합니다. 또한 패치 수준 로컬라이제이션이 가능합니다.

ABSTRACT

We aim at constructing a high performance model for defect detection that detects unknown anomalous patterns of an image without anomalous data. To this end, we propose a two-stage framework for building anomaly detectors using normal training data only. We first learn self-supervised deep representations and then build a generative one-class classifier on learned representations. We learn representations by classifying normal data from the CutPaste, a simple data augmentation strategy that cuts an image patch and pastes at a random location of a large image. Our empirical study on MVTec anomaly detection dataset demonstrates the proposed algorithm is general to be able to detect various types of real-world defects. We bring the improvement upon previous arts by 3.1 AUCs when learning representations from scratch. By transfer learning on pretrained representations on ImageNet, we achieve a new state-of-theart 96.6 AUC. Lastly, we extend the framework to learn and extract representations from patches to allow localizing defective areas without annotations during training.

연구 동기 및 목표

• 정상 데이터만으로 학습하는 결함 탐지 방법을 개발한다.
• 국소적 불규칙성에 민감한 표현을 학습하기 위해 CutPaste라는 자기지도 프록시 태스크를 도입한다.
• 학습된 표현이 효과적인 원클래스 이상 탐지를 가능하게 함을 보인다.
• 이상 학습 데이터 없이 로컬라이제이션이 가능한 패치 기반 표현으로 확장한다.
• 다양한 결함 유형에 대한 강건성을 평가하고 기존 방법과 비교한다.

제안 방법

• 정상 대 정상 이미지에 대해 이진/3-way 분류기를 이용하여 정상과 CutPaste 증강 이미지를 구분하는 CNN 기반 인코더를 학습한다.
• Patch를 잘라 회전/잡음을 주어 랜덤 위치에 붙이는 CutPaste 증강을 제안한다.
• 필요에 따라 CutPaste-Scar를 롱-씬 패치 변형으로 사용하고 3-way 분류기(Normal, CutPaste, CutPaste-Scar)를 학습한다.
• 상위 특징들에 대한 가우시안 밀도 추정(Gaussian density estimation, GDE)을 이용하여 학습 표현 위에 생성적 원클래스 탐지기를 구축한다.
• 필요에 따라 잘려진 패치에 CutPaste를 적용하고 밀집 패치 점수화 및 수용영역 업샘플링을 통해 픽셀 수준의 이상 열지도를 생성하여 패치 수준 표현으로 확장한다.
• MVTec AD에서 이미지 수준 이상 탐지(AUC)와 GradCAM 및 패치 기반 점수를 이용한 픽셀 수준 로컬라이제이션을 평가한다.

Figure 1 : An overview of our method for anomaly detection and localization. (a) A deep network (CNN) is trained to distinguish images from normal (blue) and augmented (green) data distributions by CutPaste (orange dotted box), which cuts a small rectangular region (yellow dotted box) from normal da

실험 결과

연구 질문

• RQ1 CutPaste 기반의 자기지도 학습이 이상 데이터 없이도 미지의 실제 결함에 일반화되는 표현을 학습할 수 있는가?
• RQ2 CutPaste 및 그 변형이 결함 탐지를 위한 다른 증강 방법 및 자기지도 태스크와 비교하면 어떤가?
• RQ3 훈련 중 이상 어노테이션 없이도 패치 수준 표현으로 결함의 정확한 로컬라이제이션이 가능할까?
• RQ4 ImageNet 사전학습 특징에서의 전달 학습이 결함 탐지 성능을 더 향상시키는가?
• RQ5 다양한 질감 및 객체 카테고리에서 이 방법의 강건성은 어떤가?

주요 결과

• 처음부터 CutPaste는 MVTec AD에서 이미지 수준 탐지 AUC 95.2를 달성하여 기존 연구보다 최소 3.1AUC 앞섰다.
• ImageNet 사전학습 백본을 사용할 경우 CutPaste는 AUC 96.6으로 새로운 최첨단을 기록한다.
• 패치 기반 표현은 픽셀 수준 로컬라이제이션 AUC 96.0에 도달하며 기존 방법을 능가한다.
• 5개의 CutPaste(3-way) 모델을 앙상블하면 이미지 수준 AUC가 96.1로 향상된다.
• CutPaste 계열(CutPaste 및 CutPaste-Scar)은 회전, Cutout, Scar 베이스라인보다 결함 탐지 성능이 우수하다.
• CutPaste를 이용한 전달 학습은 사전 학습된 EfficientNet 특징을 더 개선시켜 96.6 AUC를 달성하며 미세 조정 시에도 유지된다.

Figure 2 : Visualization of (a, green) normal, (b, red) anomaly, and (c–h, blue) augmented normal samples from bottle, toothbrush, screw, grid, and wood classes of MVTec anomaly detection dataset [ 5 ] . Augmented normal samples are generated by baseline augmentations including (c) Cutout and (d) Sc