[논문 리뷰] Deep Anomaly Detection with Outlier Exposure

Dan Hendrycks, Mantas Mazeika외 1명|arXiv (Cornell University)|2018. 12. 11.

Anomaly Detection Techniques and Applications인용 수 401

한 줄 요약

Outlier Exposure (OE)는 보조 이상치 데이터셋을 사용하여 이상 탐지기를 학습시켜 시각 및 NLP 작업 전반에서 보이지 않는 이상치를 더 잘 탐지하고 OOD 탐지 및 보정성을 향상시킨다.

ABSTRACT

It is important to detect anomalous inputs when deploying machine learning systems. The use of larger and more complex inputs in deep learning magnifies the difficulty of distinguishing between anomalous and in-distribution examples. At the same time, diverse image and text data are available in enormous quantities. We propose leveraging these data to improve deep anomaly detection by training anomaly detectors against an auxiliary dataset of outliers, an approach we call Outlier Exposure (OE). This enables anomaly detectors to generalize and detect unseen anomalies. In extensive experiments on natural language processing and small- and large-scale vision tasks, we find that Outlier Exposure significantly improves detection performance. We also observe that cutting-edge generative models trained on CIFAR-10 may assign higher likelihoods to SVHN images than to CIFAR-10 images; we use OE to mitigate this issue. We also analyze the flexibility and robustness of Outlier Exposure, and identify characteristics of the auxiliary dataset that improve performance.

연구 동기 및 목표

• Distribution shift 하에서 딥러닝 시스템에 대한 강인한 이상 탐지를 동기부여한다.
• 일반화 가능한 OOD 신호를 학습하기 위해 보조 이상치 데이터셋으로 학습하는 Outlier Exposure (OE)를 제안한다.
• OE가 작업 및 아키텍처 전반의 기존 OOD 탐지기를 향상시킨다.
• OE가 OOD 노출 하에서 밀도 추정 및 분류기 보정에 이점을 보임을 보여준다.

제안 방법

• OE를 학습 목표에 OE 이상치에 대한 불확실성 감소를 유도하는 항을 추가하는 방식으로 형식화한다.
• OE 데이터에 대한 출력이 균등 분포(또는 신뢰도 감소) 쪽으로 이동하도록 네트워크를 미세 조정하거나 학습시켜 보이지 않는 이상치에 대한 과신을 줄인다.
• Synthetic noise나 GAN 대신 실제로 다양하고 현실적인 OE 데이터셋(예: 80 Million Tiny Images, ImageNet-22K, WikiText-2)을 이상치로 사용한다.
• 시각 및 NLP의 다중 클래스 분류기에 OE를 적용하고 MSP와 신뢰도 분기 기반을 OOD 탐지기로 활용한다.
• 밀도 추정기(PixelCNN++)와 언어 모델(QRNN)과 함께 OE를 적용해 조정된 우도 신호를 통해 OOD 탐지를 향상시킨다.
• 데이터셋 다양성과 근접성 효과를 조사하고 현실적 OOD 테스트 설정에서 보정 개선을 평가한다.

실험 결과

연구 질문

• RQ1 Outlier Exposure가 보이지 않는 이상치 분포에 대한 OOD 탐지기의 일반화에 영향을 미칠 수 있는가?
• RQ2 실제적으로 다양하고 다양한 이상치를 포함하는 데이터가 합성되거나 잡음 기반의 이상치보다 OOD 탐지에 우수한가?
• RQ3 OE가 기존 탐지기(MSP, 신뢰도 분기) 및 밀도 추정/언어 모델과 어떻게 상호작용하는가?
• RQ4 일부 데이터가 OOD일 때 예측의 보정도에 OE가 어떤 영향을 미치는가?
• RQ5 OE 데이터셋의 특징(다양성, 근접성)이 성능에 어떤 영향을 미치는가?

주요 결과

데이터세트	FPR95 MSP	FPR95 +OE	AUROC MSP	AUROC +OE	AUPR MSP	AUPR +OE
SVHN	6.3	0.1	98.0	100.0	91.1	99.9
CIFAR-10	34.9	9.5	89.3	97.8	59.2	90.5
CIFAR-100	62.7	38.5	73.1	87.9	30.1	58.2
Tiny ImageNet	66.3	14.0	64.9	92.2	27.2	79.3
Places365	63.5	28.2	66.5	90.6	33.1	71.0

• OE는 시각 및 NLP 작업 전반의 평균 OOD 탐지 성능을 일관되게 향상시킨다.
• 실제적이고 다양한 OE 데이터가 대부분의 설정에서 합성되거나 GAN으로 생성된 이상치보다 우수하다.
• OE는 밀도 추정 기반의 OOD 점수화를 보다 그럴듯한 이상치 밀도에 근접하도록 향상시킨다.
• 현실적인 분포 내부/외부 데이터가 혼재한 설정에서 신경망 분류기의 보정을 향상시킨다.
• 기존 탐지기와 함께 OE를 사용하면 특정 테스트-외 분포에 맞춘 조정 없이도 상당한 이득을 얻을 수 있다.