[논문 리뷰] Contrastive Predictive Coding for Anomaly Detection

Puck de Haan, Sindy Löwe|arXiv (Cornell University)|2021. 07. 16.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 14

한 줄 요약

이 논문은 이미지에서 이상 탐지 및 분할을 위해 대조학습 기반 방법인 CPC-AD를 제안한다. 이 방법은 대조적 예측 코드(CPC)에서 유도된 InfoNCE 손실을 직접 이상점 수준 점수로 사용하며, 추론 중 부정 샘플링을 수정하고 자동회귀 성분을 제거함으로써 MVTec-AD에서 최신 기준 성능을 달성한다. 또한 사전 학습 모델이나 인위적 증강 기법 없이도 해석 가능한 분할 마스크를 생성할 수 있다.

ABSTRACT

Reliable detection of anomalies is crucial when deploying machine learning models in practice, but remains challenging due to the lack of labeled data. To tackle this challenge, contrastive learning approaches are becoming increasingly popular, given the impressive results they have achieved in self-supervised representation learning settings. However, while most existing contrastive anomaly detection and segmentation approaches have been applied to images, none of them can use the contrastive losses directly for both anomaly detection and segmentation. In this paper, we close this gap by making use of the Contrastive Predictive Coding model (arXiv:1807.03748). We show that its patch-wise contrastive loss can directly be interpreted as an anomaly score, and how this allows for the creation of anomaly segmentation masks. The resulting model achieves promising results for both anomaly detection and segmentation on the challenging MVTec-AD dataset.

연구 동기 및 목표

• 라벨이 부여된 이상 데이터가 희소한 실세계 응용에서의 비지도 이상 탐지 과제를 해결하기 위해.
• 대조학습과 이미지에서의 종단간 이상 탐지 및 분할 간 격차를 메우기 위해.
• 대조학습 손실을 이상점 수준 점수로 직접 사용하고, 분할 마스크의 기초로 삼기 위해.
• 모델이 클래스 간 일반화 가능하며, 데이터셋에 특화된 증강 기법이나 사전 학습 모델에 의존하지 않도록 하기 위해.
• CPC의 패치 기반 대조 손실이 이상점 탐지 및 국소화에 재활용될 수 있음을 보여주기 위해.

제안 방법

• 방법은 단일 이미지의 패치 기반 표현을 사용하는 대조적 예측 코드(CPC) 프레임워크를 활용한다.
• 양성 및 부정 패치 쌍 간의 InfoNCE 손실을 각 패치의 이상점 수준 점수로 직접 해석한다.
• 추론 중에 부정 샘플을 재구성하여 이상 패치가 오직 양성 집합에만 포함되도록 하여 탐지 민감도를 향상시킨다.
• CPC의 자동회귀 성분을 제거하여 모델을 단순화하고 이상 탐지에 적합한 표현 학습에 집중한다.
• 오버랩되는 패치들 간 평균을 취함으로써 패치 기반 InfoNCE 점수를 픽셀 수준 해상도로 업샘플링하여 이상 분할 마스크를 생성한다.
• 사전 학습이나 인위적 이상 없이도 정상 데이터만을 사용하여 모델을 처음부터 학습시킨다.

실험 결과

연구 질문

• RQ1 CPC의 대조 손실을 이미지 수준 이상 탐지에 직접 이상점 수준 점수로 사용할 수 있는가?
• RQ2 동일한 대조 손실을 사용하여 정확한 픽셀 수준 이상 분할 마스크를 생성할 수 있는가?
• RQ3 MVTec-AD 벤치마크에서 CPC-AD의 성능은 이상 탐지 및 분할 측면에서 최신 기준 방법들과 비교해 어떻게 되는가?
• RQ4 자동회귀 성분을 제거하고 부정 샘플링을 조정하면 이상 탐지 성능이 향상되는가?
• RQ5 사전 학습이나 데이터 증강 없이 처음부터 학습된 자기지도 대조 모델이 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• CPC-AD는 MVTec-AD 테스트 세트에서 평균 AUROC 0.901을 달성하여 커널 밀도 추정 및 오토에코딩 기반 베이스라인을 능가한다.
• 병아리 병(병아리 병 클래스)에서 0.998 AUROC를 기록하여 이 클래스에서 CutPaste 모델을 능가한다.
• 이상 분할 측면에서 CPC-AD는 AnoGAN과 같은 GAN 기반 방법을 능가하고, 대부분의 클래스에서 다른 오토에코딩 및 대조 기반 베이스라인과 동등하거나 슈퍼어리어한다.
• 일부 클래스(예: 카펫 클래스에서 0.809 AUROC)에서는 분할 점수는 낮지만, 배경 노이즈가 최소화된 시각적으로 정확한 마스크를 생성한다.
• 패턴이 풍부한 클래스에서 특히 뛰어난 성능를 보이며, 구조적 변동에 대해 강건함을 시사한다.
• 이 방법은 일반화 가능하며, 데이터셋에 특화된 증강 기법이나 사전 학습 모델이 필요하지 않아 CutPaste와 같은 방법보다 더 넓은 적용 범위를 가진다.