[논문 리뷰] Learning and Evaluating Representations for Deep One-class Classification

Kihyuk Sohn, Chunliang Li외 3명|arXiv (Cornell University)|2020. 11. 04.

Anomaly Detection Techniques and Applications참고 문헌 77인용 수 92

한 줄 요약

두 단계 프레임워크는 한 클래스 데이터에서 자체 감독 학습 표현을 학습한 뒤 해당 표현에 대해 원클래스 분류기(OC-SVM 또는 KDE)를 학습하며, 분포 증강 대조 학습이 시각 원클래스 벤치마크의 성능을 향상시킨다.

ABSTRACT

We present a two-stage framework for deep one-class classification. We first learn self-supervised representations from one-class data, and then build one-class classifiers on learned representations. The framework not only allows to learn better representations, but also permits building one-class classifiers that are faithful to the target task. We argue that classifiers inspired by the statistical perspective in generative or discriminative models are more effective than existing approaches, such as a normality score from a surrogate classifier. We thoroughly evaluate different self-supervised representation learning algorithms under the proposed framework for one-class classification. Moreover, we present a novel distribution-augmented contrastive learning that extends training distributions via data augmentation to obstruct the uniformity of contrastive representations. In experiments, we demonstrate state-of-the-art performance on visual domain one-class classification benchmarks, including novelty and anomaly detection. Finally, we present visual explanations, confirming that the decision-making process of deep one-class classifiers is intuitive to humans. The code is available at https://github.com/google-research/deep_representation_one_class.

연구 동기 및 목표

• 원클래스 분류를 위한 고품질 표현 학습의 도전과 필요성 제시
• 표현 학습과 원클래스 분류기 학습을 분리하는 2단계 프레임워크 제안
• 자체 감독 방법들(증강 예측, 대조 학습)의 원클래스 태스크에 대한 체계적 비교
• 원클래스 탐지를 개선하기 위한 분포 증강 대조 학습 도입
• 시각 원클래스 벤치마크에서의 최첨단 성능 시연 및 시각적 해설 제공

제안 방법

• (1) 원클래스 데이터로부터 자체 감독 방법을 사용해 표현 학습을 수행하고 다운스트림 활용도를 높이기 위한 투영 헤드를 포함시킨다; (2) 학습된 표현에 대해 원클래스 분류기(OC-SVM 또는 KDE)를 학습한다.
• 원클래스 태스크에서 바닐라 대조 학습의 한계(균일성 및 클래스 충돌)를 분석하고 수정책을 제안한다.
• 기하학적 변환을 통한 학습 분포 확장을 통해 균일성을 줄이고 분리 가능성을 향상시키는 분포 증강 대조 학습을 도입한다.
• 다양한 자체 감독 방법(증강 예측, 회전 예측, 바닐라 대조 학습 및 분포 증강 대조 학습)을 평가하고 OC-SVM 대 KDE를 탐지기로 비교한다.
• 학습된 표현에 대한 KDE를 사용하여 깊은 원클래스 분류기에 대한 그래디언트 기반 설명 방식을 제공한다.
• CIFAR-10/100, Fashion-MNIST, Cat-vs-Dog, CelebA, MVTec AD 등 데이터셋에 적용하고 광범위한 분석을 수행한다.

실험 결과

연구 질문

• RQ1 한 클래스 데이터로부터 어떻게 효과적으로 자체 감독 표현을 학습해 신뢰할 수 있는 원클래스 분류를 달성할 수 있는가?
• RQ2 다양한 자체 감독 태스크(증강 예측, 회전, 대조 학습)가 원클래스 탐지 성능에 미치는 영향은 무엇인가?
• RQ3 분포 증강 대조 학습이 바닐라 방법에 비해 원클래스 표현 품질을 향상시키는가?
• RQ4 학습된 표현을 사용할 때 OC-SVM과 KDE 중 어떤 탐지기가 더 우수한가?
• RQ5 깊은 원클래스 분류기에 대한 의미 있는 그래디언트 기반 설명을 제공할 수 있는가?

주요 결과

표현	분류기	CIFAR-10	CIFAR-100	f-MNIST	Cat-vs-Dog	CelebA	평균
ResNet-50 (ImageNet)	OC-SVM	80.0	83.7	91.8	74.5	81.4	84.0
KDE	80.0	83.7	90.5	74.6	82.4	83.7	83.7
RotNet [20]	Rotation Classifier	86.8 ±0.4	80.3 ±0.5	87.4 ±1.7	86.1 ±0.3	51.4 ±3.9	83.1
KDE	89.3 ±0.3	81.9 ±0.5	94.6 ±0.3	86.4 ±0.2	77.4 ±1.0	86.6
Denoising	OC-SVM	83.4 ±1.0	75.2 ±1.0	93.9 ±0.4	57.3 ±1.3	66.8 ±0.9	80.4
KDE	83.5 ±1.0	75.2 ±1.0	93.7 ±0.4	57.3 ±1.3	67.0 ±0.7	80.4
Rotation Prediction	OC-SVM	90.8 ±0.3	82.8 ±0.6	94.6 ±0.3	83.7 ±0.6	65.8 ±0.9	87.1
KDE	91.3 ±0.3	84.1 ±0.6	95.8 ±0.3	86.4 ±0.6	69.5 ±1.7	88.2
Contrastive	OC-SVM	89.0 ±0.7	82.4 ±0.8	93.9 ±0.3	87.7 ±0.5	83.5 ±2.4	86.9
KDE	89.0 ±0.7	82.4 ±0.8	93.6 ±0.3	87.7 ±0.4	84.6 ±2.5	86.8
Contrastive (DA)	OC-SVM	92.5 ±0.6	86.5 ±0.7	94.8 ±0.3	89.6 ±0.5	84.5 ±1.1	89.9
KDE	92.4 ±0.7	86.5 ±0.7	94.5 ±0.4	89.6 ±0.4	85.6 ±0.5	89.8

• 분포 증강 대조 학습 방법이 여러 데이터셋에서 평균 AUC가 가장 높게 나타나(89.9), 바닐라 방법보다 우수하다
• 학습된 표현에 KDE 또는 OC-SVM을 사용하는 것이 시뮬레이션된 이상치로 학습된 대체 분류기와 비교해 경쟁력 있거나 우수한 성능을 보인다
• RotNet의 회전 예측이 AUC를 향상시키며 RotNet 표현에 KDE를 적용하면 직접 회전 분류기를 사용할 때보다 좋을 수 있다
• 대조 학습만으로는 균일성과 클래스 충돌 문제로 성능이 떨어지나 적절한 수정(작은 배치 크기, 투영 헤드, 분포 증강)을 통해 성능이 향상된다
• 2단계 프레임워크는 CIFAR-10, CIFAR-100, Fashion-MNIST, Cat-vs-Dog, CelebA, MVTec AD에서 테스트 시증강이나 앙상블 없이도 최첨단 성능을 달성한다