[논문 리뷰] Density of States Estimation for Out-of-Distribution Detection

Warren R. Morningstar, Cusuh Ham외 4명|arXiv (Cornell University)|2020. 06. 16.

Anomaly Detection Techniques and Applications참고 문헌 31인용 수 14

한 줄 요약

이 논문은 통계역학의 상태 밀도 개념을 활용하여 가능도에 의존하지 않고 모델 통계의 일반성(typicality)을 평가함으로써, 레이블이 없거나 OOD 예제가 없는 조건에서도 상태-기반 비지도 OOD 검출 방법 DoSE를 제안한다. 사전 훈련된 모델의 요약 통계에 비모수 밀도 추정기(예: 커널 밀도 추정, one-class SVM)를 적용함으로써 DoSE는 레이블 없이도 기존 최고 성능을 달성한다.

ABSTRACT

Perhaps surprisingly, recent studies have shown probabilistic model likelihoods have poor specificity for out-of-distribution (OOD) detection and often assign higher likelihoods to OOD data than in-distribution data. To ameliorate this issue we propose DoSE, the density of states estimator. Drawing on the statistical physics notion of ``density of states,'' the DoSE decision rule avoids direct comparison of model probabilities, and instead utilizes the ``probability of the model probability,'' or indeed the frequency of any reasonable statistic. The frequency is calculated using nonparametric density estimators (e.g., KDE and one-class SVM) which measure the typicality of various model statistics given the training data and from which we can flag test points with low typicality as anomalous. Unlike many other methods, DoSE requires neither labeled data nor OOD examples. DoSE is modular and can be trivially applied to any existing, trained model. We demonstrate DoSE's state-of-the-art performance against other unsupervised OOD detectors on previously established ``hard'' benchmarks.

연구 동기 및 목표

• 가능도 기반 방법이 OOD 검출에서 실패하는 문제를 해결하기 위해, 즉 OOD 입력이 인라인 데이터보다 높은 가능도를 가질 수 있는 상황을 해결하고자 한다.
• 다양한 요약 통계를 사용하여 테스트 샘플의 일반성(인라인 데이터 대비)을 측정함으로써 직접 가능도 비교를 피하는 방법을 개발하고자 한다.
• 재훈련이나 하이퍼파라미터 튜닝 없이도 어떤 사전 훈련된 생성 모델에도 적용 가능한 모듈식 비지도 OOD 검출 프레임워크를 구축하고자 한다.
• 훈련 데이터 분포에서 통계의 빈도로 측정된 일반성은 모델 가능도보다 더 신뢰할 수 있는 OOD 지표임을 입증하고자 한다.

제안 방법

• DoSE는 커널 밀도 추정(KDE) 및 one-class SVM와 같은 비모수 밀도 추정기를 사용하여, 인라인 데이터의 다양한 요약 통계에 대한 상태 밀도(DOS)를 추정한다.
• 테스트 샘플은 추정된 DOS 하에서 해당 통계가 얼마나 일반적인지 측정함으로써 평가되며, 낮은 지지도를 가진 점은 OOD로 간주된다.
• 이 방법은 모듈식이며, 예를 들어 β-VAE나 Glow와 같은 어떤 사전 훈련된 생성 모델이라도 잠재 표현, 로그가능도 또는 구성 요소 통계와 같은 모델 통계를 추출함으로써 적용 가능하다.
• 직접 가능도 비교를 피하기 위해 훈련 세트에서 관측된 통계의 빈도에 초점을 맞추며, 통계역학적 일반성 개념과 일치한다.
• 다양한 통계(예: 노름, 첫 번째 좌표, 최대 좌표)를 사용하여 정확도를 향상시키고, 가능도는 높지만 통계적으로 이질적인 OOD 입력을 탐지할 수 있도록 한다.
• 레이블 데이터나 OOD 예제가 필요 없어, 이러한 데이터가 확보되지 않은 실세계 환경에 적합하다.

실험 결과

연구 질문

• RQ1 훈련 분포에서 모델 통계의 빈도는 모델 가능도보다 더 신뢰할 수 있는 OOD 검출 신호가 될 수 있는가?
• RQ2 왜 가능도 기반 방법은 OOD 검출에서 실패하는가? 특히 OOD 데이터가 인라인 데이터보다 높은 가능도를 가질 수 있는 이유는 무엇인가?
• RQ3 비모수 밀도 추정을 통한 통계의 일반성 측정에 기반한 방법이 가능도 기반 베이스라인보다 OOD 검출에서 더 우수한 성능을 내는가?
• RQ4 제안된 DoSE 방법은 CIFAR-10 vs. SVHN 또는 CelebA vs. CIFARs와 같은 도전적인 벤치마크를 포함한 다양한 데이터셋 쌍에 대해 강건한가?
• RQ5 DoSE는 OOD 예제나 레이블이 없이도 비지도 OOD 검출 분야에서 최고 성능을 달성할 수 있는가?

주요 결과

• DoSE는 표준 벤치마크에서 비지도 OOD 검출 방법 중 최고 성능을 기록하며, TT 및 WAIC와 같은 가능도 기반 베이스라인을 능가한다.
• CIFAR-10 → SVHN 및 CelebA → CIFARs와 같은 도전적인 벤치마크에서 DoSE는 높은 AUROC 점수를 유지하지만, TT는 가능성에 의존하기 때문에 AUROC ≈ 0.6에 머물러 실패한다.
• DoSE는 가능도는 높지만 통계적 프로파일이 이질적인 OOD 샘플(예: 높은 색 대비 또는 비정상적인 무늬를 가진 이미지)을 성공적으로 탐지한다.
• 이 방법은 다양한 데이터셋 쌍에 대해 강건하며, 가능도 기반 방법의 근본적 한계(가능도가 높은 OOD 데이터를 인라인으로 잘못 분류)를 겪지 않는다.
• 정성적 분석 결과 DoSE는 고대비 또는 이국적인 색상 패턴을 가진 이미지를 OOD로 표시하며, 의미 있는 통계적 이질성에 민감함을 보였다.
• DoSE는 OOD 예제나 레이블이 전혀 필요 없이도 완전히 비지도로 동작함에도 불구하고, 최고 수준의 지도 기반 방법과 유사한 성능을 달성한다.