[논문 리뷰] SPot-the-Difference Self-Supervised Pre-training for Anomaly Detection and Segmentation

Zou, Yang, Jongheon Jeong외 3명|arXiv (Cornell University)|2022. 07. 28.

Anomaly Detection Techniques and Applications인용 수 15

한 줄 요약

이 논문은 대비를 찾는 손실을 통해 콘트라스트 학습을 정규화함으로써 국소적 민감도를 향상시키는 자기지도 학습 사전 훈련 방법인 SPOT-THE-DIFFERENCE(SPD)를 소개한다. 또한, 10,821장의 이미지와 1,200개의 이상징후를 포함하는 산업용 이상 탐지 분야에서 가장 큰 데이터셋인 VisA를 공개하며, 2-클래스 하이샷 설정에서 SPD는 SimSiam 대비 5.9% 및 감독 학습 사전 훈련 대비 6.8%의 AU-PR 향상을 보였다.

ABSTRACT

Visual anomaly detection is commonly used in industrial quality inspection. In this paper, we present a new dataset as well as a new self-supervised learning method for ImageNet pre-training to improve anomaly detection and segmentation in 1-class and 2-class 5/10/high-shot training setups. We release the Visual Anomaly (VisA) Dataset consisting of 10,821 high-resolution color images (9,621 normal and 1,200 anomalous samples) covering 12 objects in 3 domains, making it the largest industrial anomaly detection dataset to date. Both image and pixel-level labels are provided. We also propose a new self-supervised framework - SPot-the-difference (SPD) - which can regularize contrastive self-supervised pre-training, such as SimSiam, MoCo and SimCLR, to be more suitable for anomaly detection tasks. Our experiments on VisA and MVTec-AD dataset show that SPD consistently improves these contrastive pre-training baselines and even the supervised pre-training. For example, SPD improves Area Under the Precision-Recall curve (AU-PR) for anomaly segmentation by 5.9% and 6.8% over SimSiam and supervised pre-training respectively in the 2-class high-shot regime. We open-source the project at http://github.com/amazon-research/spot-diff .

연구 동기 및 목표

• 산업 표면 결함 탐지에서 이상 데이터가 제한적인 문제를 해결하기 위해, 결함에 대한 국소적 민감도를 향상시키는 자기지도 학습 사전 훈련 방법을 개발한다.
• 이미지 및 픽셀 수준의 주석을 포함한 대규모, 고해상도, 다중 도메인 산업용 이상 데이터셋을 구축하여 강력한 벤치마킹을 지원한다.
• 새로운 콘트라스트 자기지도 학습 프레임워크를 사용하여 저샷 및 2-클래스 이상 탐지 설정에서 일반화 능력과 성능을 향상시킨다.
• SPD가 다양한 벤치마크와 백본 아키텍처에서 콘트라스트 및 감독 학습 사전 훈련을 모두 능가함을 입증한다.

제안 방법

• 증강된 이미지 뷰 간의 미세한 국소적 차이를 탐지하도록 유도하는 '대비를 찾는(SPD)' 손실을 제안하여, 소규모 결함에 대한 민감도를 향상시킨다.
• 국소적 차이가 있는 합성 이미지 쌍을 생성하기 위해 SmoothBlend 증강 기법을 사용하여 사전 훈련 중 실제 이상 현상과 유사한 환경을 시뮬레이션한다.
• SimSiam, MoCo, SimCLR와 같은 기존 콘트라스트 자기지도 학습 방법과 함께 SPD 손실을 정규화 기법으로 통합한다.
• 최신 기술인 PaDiM 및 PatchCore를 사용하여 다운스트림 이상 탐지 및 분할 작업에 SPD-정규화된 표현을 적용한다.
• 사전 훈련 중 주요 콘트라스트 목표와 SPD 손실을 균형 잡기 위해 학습 가능한 하이퍼파rameter η를 사용한다.
• 1-클래스 및 2-클래스 훈련 제약 조건 하에서 새로 공개된 VisA 및 MVTec-AD 두 벤치마크에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 국소적 차이에 중점을 두는 자기지도 학습 사전 훈련 방법이 표준 콘트라스트 또는 감독 학습 사전 훈련 대비 이상 탐지 성능 향상에 기여하는가?
• RQ2 제안된 SPD 프레임워크가 다양한 백본 및 다운스트림 이상 탐지 아키텍처에 일반화되는가?
• RQ3 이상 데이터가 존재하는 저샷 및 2-클래스 설정에서 SPD 방법의 성능은 어떠한가?
• RQ4 SPD-정규화된 표현은 이상의 분류 및 픽셀 수준의 분할에 모두 향상 효과를 미치는가?
• RQ5 SPD 방법은 표준 ImageNet 분류 작업에서도 일반화 능력을 향상시키는가? 이는 더 넓은 활용 가능성을 시사한다.

주요 결과

• VisA에서 2-클래스 하이샷 설정에서 SPD는 SimSiam 대비 5.9% 및 감독 학습 사전 훈련 대비 6.8%의 AU-PR 향상을 보였다.
• VisA에서 SPD는 감독 학습 기반 ImageNet 사전 훈련에 적용되었을 때 분류 및 분할 각각 0.5%와 0.9%의 AU-PR 향상을 기록했다.
• SPD는 SimSiam, MoCo, SimCLR와 같은 여러 콘트라스트 기반 기초 모델과 ResNet-50, Wide ResNet-50 등의 다양한 백본에서 일관되게 성능 향상을 이뤘다.
• η=0.1일 때 SPD 손실가 최고의 성능를 보이며, 이는 기본 하이퍼파rameter 설정으로 선택되었다.
• ResNet-18 대비 0.4%, ResNet-50 대비 0.3%의 ImageNet top-1 정확도 향상을 기록하여 이상 탐지 외에도 보다 광범위한 이점이 있음을 시사한다.
• 정성적 분석 결과, SPD는 GradCAM 열매강도 맵을 향상시켜 표준 사전 훈련 대비 국소적 결함에 더 집중하는 경향을 보였다.