[논문 리뷰] Anomaly Detection via Reverse Distillation from One-Class Embedding

Hanqiu Deng, Xingyu Li|arXiv (Cornell University)|2022. 01. 26.

Anomaly Detection Techniques and Applications인용 수 32

한 줄 요약

이 논문은 교사 인코더와 학습 가능한 일 클래스 병목 임베딩, 그리고 학생 디코더를 갖춘 역 디스틼레이션 프레임워크를 도입하여 이상 징후를 탐지하고 현저히 위치시키며, MVTec 및 일 클래스 노벨티 벤치마크에서 최첨단 성과를 달성합니다.

ABSTRACT

Knowledge distillation (KD) achieves promising results on the challenging problem of unsupervised anomaly detection (AD).The representation discrepancy of anomalies in the teacher-student (T-S) model provides essential evidence for AD. However, using similar or identical architectures to build the teacher and student models in previous studies hinders the diversity of anomalous representations. To tackle this problem, we propose a novel T-S model consisting of a teacher encoder and a student decoder and introduce a simple yet effective "reverse distillation" paradigm accordingly. Instead of receiving raw images directly, the student network takes teacher model's one-class embedding as input and targets to restore the teacher's multiscale representations. Inherently, knowledge distillation in this study starts from abstract, high-level presentations to low-level features. In addition, we introduce a trainable one-class bottleneck embedding (OCBE) module in our T-S model. The obtained compact embedding effectively preserves essential information on normal patterns, but abandons anomaly perturbations. Extensive experimentation on AD and one-class novelty detection benchmarks shows that our method surpasses SOTA performance, demonstrating our proposed approach's effectiveness and generalizability.

연구 동기 및 목표

• 유사한 교사/학생 아키텍처와 동일한 데이터 흐름으로 인해 이상 탐지의 전통적 지식 증류의 한계를 해결한다.
• 이상 표현을 다양화하기 위해 이질적 인코더-디코더 T-S 모델을 제안한다.
• 정상 패턴 정보를 압축하면서 이상을 버리도록 학습 가능한 일 클래스 병목 임베딩(OCBE)을 도입한다.
• 다중 스케일 특징을 융합하고 표현을 정렬하여 이상 복원과 구분성을 향상시킨다.
• 비지도 이상 탐지, 위치 탐지 및 일 클래스 노벨티 탐지 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• 고정된 사전 학습 교사 인코더와 학습 가능한 학생 디코더를 역 디스틸레이션 설정으로 배치한다(상위 수준에서 하위 수준으로의 지식 전달).
• 임베딩 전에 얕은 특징과 깊은 교사 특징을 결합하기 위한 다중 스케일 특징 융합(MFF) 블록을 사용한다.
• 핵심 정상 패턴 정보를 보유하는 간결한 병목 임베딩을 생성하는 일 클래스 임베딩(OCE) 블록을 도입한다.
• 다중 특징 스케일에 걸친 코사인 유사도 기반 디스틸레이션 손실(L_KD)을 최소화하도록 OCBE 모듈과 학생 디코더를 학습한다.
• 교사와 학생 특징 간의 코사인 유사도로부터 픽셀 레벨의 이상 맵 M^k를 계산하고 이를 최종 이상 맵 S_AL로 집계한다; S_AL로부터 샘플 수준 점수 S_AD를 도출한다.
• 추론 시 교사와 학생 표현 간의 낮은 유사도에 의존하여 이상 신호를 나타내고 누적된 다중 스케일 맵을 통해 위치를 로컬라이즈한다.

실험 결과

연구 질문

• RQ1 교사 인코더와 학생 디코더가 있는 역 디스틸레이션 패러다임이 비지도 AD에서 기존 KD에 비해 이상 구분성을 향상시킬 수 있는가?
• RQ2 학습 가능한 OCBE와 다중 스케일 특징 융합이 정상 패턴 복원 및 이상 탐지 가능성을 향상시키는가?
• RQ3 제안된 방법이 표준 이상 탐지, 위치 탐지 및 일 클래스 노벨티 벤치마크에서 기존 연구에 비해 어떻게 성능을 발휘하는가?
• RQ4 백본 선택 및 다중 스케일 특징 선택이 탐지/로컬라이제이션 성능에 어떤 영향을 미치는가?

주요 결과

• MVTec 이상 탐지 및 로컬라이제이션에서 최첨단 또는 경쟁 수준의 결과를 달성하며, 평균 AUROC 및 PRO 지표에서 여러 베이스라인을 능가한다.
• 텍스처와 물체 전반에 걸쳐 MVTec의 AD에서 텍스처 99.5%, 물체 98.0%의 최고 평균 AUROC를 달성한다.
• 이상 로컬라이제이션에서 평균 AUROC 97.8% 및 PRO 93.9%를 달성하며 이전 방법을 능가한다.
• MNIST, FashionMNIST 및 CIFAR-10에서 강력한 일 클래스 노벨티 탐지 성능을 시연하며 여러 베이스라인 대비 AUROC 개선이 있다.
• 절개 연구는 OCBE 및 다중 스케일 특징 융합(MFF)을 도입하면 AUROC_AD가 96.0에서 98.5로, AUROC_AL이 96.9에서 97.8로 향상되며 RPO도 개선됨을 보인다.