[논문 리뷰] Detecting Out-of-Distribution Inputs in Deep Neural Networks Using an Early-Layer Output

Vahdat Abdelzad, Krzysztof Czarnecki외 4명|arXiv (Cornell University)|2019. 10. 23.

Anomaly Detection Techniques and Applications참고 문헌 37인용 수 35

한 줄 요약

논문은 사전학습된 분류기의 초기(최적 OOD 구분) 계층의 특징에 대해 원클래스 분류기를 사용하는 OOD 탐지기를 도입하여 OOD 데이터나 재학습 없이도 동작하며, 성능 향상을 위한 입력 전처리를 선택적으로 적용한다.

ABSTRACT

Deep neural networks achieve superior performance in challenging tasks such as image classification. However, deep classifiers tend to incorrectly classify out-of-distribution (OOD) inputs, which are inputs that do not belong to the classifier training distribution. Several approaches have been proposed to detect OOD inputs, but the detection task is still an ongoing challenge. In this paper, we propose a new OOD detection approach that can be easily applied to an existing classifier and does not need to have access to OOD samples. The detector is a one-class classifier trained on the output of an early layer of the original classifier fed with its original training set. We apply our approach to several low- and high-dimensional datasets and compare it to the state-of-the-art detection approaches. Our approach achieves substantially better results over multiple metrics.

연구 동기 및 목표

• 안전이 중요한 작업에서 DNN의 out-of-distribution 입력을 탐지해야 하는 필요성을 동기화한다.
• 분류기를 재학습시키거나 OOD 샘플에 접근할 필요가 없는 탐지기를 제안한다.
• ID와 OOD 분포가 well separated인 최적의 초기 계층 잠재 공간(OODL)을 식별하고 활용한다.
• 다양한 저차원 및 고차원 데이터셋에서 최신 탐지기들과 비교하여 방법을 평가한다.

제안 방법

• ID와 OOD 분포를 구분하는 초기 계층(OODL)을 통해 잠재 공간을 정의한다.
• 학습 데이터 특징으로 학습된 원클래스 SVM(OSVM)을 사용해 층마다 탐지 오류를 평가하여 OODL을 탐색한다.
• 추론 시 OODL 특징에 대해 원클래스 탐지기를 사용해 ID와 OOD 입력을 구분한다.
• 합성곱 계층의 경우 OSVM 적용 전 특징 맵의 차원을 채널별 평균 풀링으로 축소한다.
• 선택적으로 ODIN에서처럼 입력 전처리를 적용해 입력을 교란시키고 탐지를 개선할 수 있지만, 방법은 이미 전처리 없이도 성능이 우수하다.

실험 결과

연구 질문

• RQ1 fixed classifier의 초기 계층이 OOD 데이터 없이도 ID와 OOD 분포를 충분히 구분하여 탐지할 수 있는 잠재 공간을 제공할 수 있는가?
• RQ2 주어진 네트워크에서 Robust OOD 탐지에 최적의 OODL로 하려면 어느 계층이 적합한가?
• RQ3 OODL 특징에 대한 원클래스 탐지기가 다수의 데이터셋에서 기존의 max-softmax, ODIN, MD 기반 탐지기보다 성능이 우수한가?
• RQ4 제안된 방법의 입력 전처리 효과는 무엇인가?

주요 결과

• 제안된 접근법은 다수의 지표에서Baseline 및 최신 방법들보다 현저히 우수한 탐지 성능을 보인다.
• 최적의 OOD 구분 계층(OODL)은 일반적으로 저수준 계층이며, 서로 다른 OOD 데이터셋에서도 일관되지만 ID 데이터셋과 아키텍처에 따라 다르다.
• 축소된 차원의 초기 계층 특징들에서 OSVM을 사용하면 OOD 데이터를 학습 시점에 필요로 하지 않고도 고차원 OOD 탐지가 가능하다.
• 입력 전처리를 통해 탐지 성능을 더 높일 수 있지만, 이 방법은 이미 전처리 없이도 강력한 성능을 달성한다.
• 탐지기는 재학습 없이 기존의 사전 학습된 분류기에 적용 가능하며 OOD 샘플에 접근할 필요도 없다.