[논문 리뷰] A Less Biased Evaluation of Out-of-distribution Sample Detectors

Alireza Shafaei, Mark Schmidt외 1명|arXiv (Cornell University)|2018. 09. 13.

Anomaly Detection Techniques and Applications참고 문헌 40인용 수 21

한 줄 요약

이 논문은 외부 분포(OOD) 샘플 탐지에서 편향을 줄이기 위해 세 개의 데이터셋을 사용하는 평가 프레임워크인 OD-test를 소개한다. 실질적인 조건에서 기존 방법들이 고차원 이미지에서 오직 60–78%의 정확도를 기록함으로써 신뢰할 만한 성능 이하임을 드러내며, 이는 이전에 지나치게 낙관적인 벤치마크에 도전한다.

ABSTRACT

In the real world, a learning system could receive an input that is unlike anything it has seen during training. Unfortunately, out-of-distribution samples can lead to unpredictable behaviour. We need to know whether any given input belongs to the population distribution of the training/evaluation data to prevent unpredictable behaviour in deployed systems. A recent surge of interest in this problem has led to the development of sophisticated techniques in the deep learning literature. However, due to the absence of a standard problem definition or an exhaustive evaluation, it is not evident if we can rely on these methods. What makes this problem different from a typical supervised learning setting is that the distribution of outliers used in training may not be the same as the distribution of outliers encountered in the application. Classical approaches that learn inliers vs. outliers with only two datasets can yield optimistic results. We introduce OD-test, a three-dataset evaluation scheme as a more reliable strategy to assess progress on this problem. We present an exhaustive evaluation of a broad set of methods from related areas on image classification tasks. Contrary to the existing results, we show that for realistic applications of high-dimensional images the previous techniques have low accuracy and are not reliable in practice.

연구 동기 및 목표

• 기존의 두 데이터셋(Inlier 및 Outlier)만을 사용하는 OOD 검출기 평가에서의 지나친 낙관주의를 해결하기 위해.
• 세 번째로 다양한 외부 오차 데이터셋을 도입함으로써 훈련 중에 볼 수 없었던 외부 오차(알 수 없는 알 수 없는 것들)를 고려하는 더 현실적인 평가 프레임워크를 제안하기 위해.
• 다양한 이미지 분류 데이터셋과 모델에 걸쳐 포괄적이고 편향 없는 OOD 탐지 벤치마크를 제공하기 위해.
• 현재 최상의 방법들이 현실적인 고차원 설정에서 떨어지는 성능을 보이며 실용적 신뢰성에 위협을 가하고 있음을 입증하기 위해.
• 재현 가능성과 공동체의 OD-test 평가 프로토콜 수용을 장려하기 위해 PyTorch 패키지를 공개하기 위해.

제안 방법

• 실제 세계의 OOD 탐지 시나리오를 시뮬레이션하기 위해 훈련 세트(ID), 검증 세트(기존 외부 오차), 테스트 세트(미리보지 않은 외부 오차)를 사용하는 세 데이터셋 평가 체계인 OD-test를 도입한다.
• 다양한 외부 오차 데이터셋(CIFAR-10, SVHN, Tiny ImageNet, LSUN, ImageNet-1000 등)을 사용하여 다양한 이상 유형에 대한 일반화 능력을 평가한다.
• 불확실성 추정(MC-Dropout, Deep Ensemble), 재구성 기반 기법(AEThreshold, VAE), 밀도 추정 기법(PixelCNN++), 그리고 적대적 스타일 기법(ODIN)을 포함한 12종의 OOD 탐지 기법을 평가한다.
• 특정 외부 오차 분포에서 비롯된 편향을 줄이기 위해 모든 외부 오차 데이터셋 조합에 대한 평균 정확도를 계산한다.
• 기본 분류기로 표준 이미지 분류 모델(VGG, ResNet)을 사용하고, OOD 검출기를 그들의 로짓 또는 특징 표현에 적용한다.
• 최종 레이어의 특징 또는 소프트맥스 확률에 임계값 설정 및 거리 기반 방법을 적용하여 OOD 샘플을 탐지한다.

실험 결과

연구 질문

• RQ1 표준 두 데이터셋 기반의 평가와 비교해, 더 현실적인 세 데이터셋 평가 체계(OD-test)에서 OOD 검출기의 성능가 어떻게 저하되는가?
• RQ2 OOD 검출 기법이 훈련 중에 볼 수 없었던 외부 오차 분포로 일반화되는 정도는 어느 정도인가?
• RQ3 예를 들어 불확실성 추정, 재구성, 밀도 추정 등의 다양한 OOD 검출 기법이 고차원 이미지 환경에서 어떻게 비교되는가?
• RQ4 더 높은 정확도를 보이는 이미지 분류기일수록 OOD 탐지 성능이 향상되는가?
• RQ5 검증 세트의 특정 외부 오차 분포에 과적합되기 쉬운 OOD 검출 기법은 무엇인가?

주요 결과

• 모든 평가된 OOD 탐지 기법의 성능이 고차원 이미지 환경에서 크게 저하되며, 평균 정확도가 60%에서 78% 사이로 나타나 실질적인 신뢰성 부족을 시사한다.
• AEThreshold 및 PixelCNN++와 같은 기법은 MNIST와 같은 저차원 데이터셋에서는 잘 작동하지만, ImageNet과 같은 복잡한 고차원 데이터에서는 급격히 성능이 떨어진다.
• ODIN은 고차원 환경에서 모든 기법 중 평균 정확도가 가장 높지만 여전히 80%에 못 미치며, 실용적 유용성이 제한됨을 시사한다.
• 두 데이터셋 평가 체계는 특히 VGG와 ResNet에서 지나치게 낙관적인 결과를 낳으며, 특정 외부 오차 분포에 대한 과적합을 탐지하지 못한다.
• 불확실성 기반 기법인 MC-Dropout 및 Deep Ensemble는 OOD 탐지에 신뢰할 수 없으며, 다양한 데이터셋 간에 낮고 일관성 없는 성능을 보인다.
• 일반적인 오토인코더의 잠재 표현은 최근접 이웃 방법과 조합했을 때 OOD 탐지에 효과적이지 않으며, PixelCNN++를 통한 밀도 추정은 일부 경우에서 무작위 기준선조차도 뒤지지 않는다.