[논문 리뷰] Bayesian OOD detection with aleatoric uncertainty and outlier exposure

Xi Wang, Laurence Aitchison|arXiv (Cornell University)|2021. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 4

한 줄 요약

이 논문은 애자일러티브 불확실성과 이방자료 노출(Outlier Exposure, OE)을 통합하여 분포 외(out-of-distribution, OOD) 탐지에 대한 원칙적인 베이지안 프레임워크를 제안한다. 데이터셋 셀렉션을 다수의 평가자 간의 합의 과정으로 모델링하며, 모호하고 정의되지 않은 클래스 레이블을 가진 이미지(UCL 포인트)는 평가자 간의 이견을 유도하여 애자일러티브 불확실성을 신호로 삼는다. 이 불확실성은 OOD 포인트에 대한 가능도로 형식화되어 OE와 함께 베이지안 추론이 가능하게 한다. 제안된 방법은 OOD 탐지 벤치마크에서 표준 베이지안 및 애자일러티브 불확실성 접근법보다 뛰어난 성능을 보인다.

ABSTRACT

Typical Bayesian approaches to OOD detection use epistemic uncertainty. Surprisingly from the Bayesian perspective, there are a number of methods that successfully use aleatoric uncertainty to detect OOD points (e.g. Hendryks et al. 2018). In addition, it is difficult to use outlier exposure to improve a Bayesian OOD detection model, as it is not clear whether it is possible or desirable to increase posterior (epistemic) uncertainty at outlier points. We show that a generative model of data curation provides a principled account of aleatoric uncertainty for OOD detection. In particular, aleatoric uncertainty signals a specific type of OOD point: one without a well-defined class-label, and our model of data curation gives a likelihood for these points, giving us a mechanism for conditioning on outlier points and thus performing principled Bayesian outlier exposure. Our principled Bayesian approach, combining aleatoric and epistemic uncertainty with outlier exposure performs better than methods using aleatoric or epistemic alone.

연구 동기 및 목표

• OOD 탐지에서 이방자료 노출(OE)의 원칙적인 베이지안 통합이 부족한 문제를 해결하기 위해.
• 정의되지 않은 클래스 레이블을 가진 분포 외 포인트(UCL 포인트)에 대해 애자일러티브 불확실성을 활용해 공식적인 가능도를 제공하기 위해.
• 베이지안 프레임워크 내에서 지식 불확실성, 애자일러티브 불확실성, 그리고 OE를 통합하기 위해.
• 데이터셋 셀렉션 과정에서 인간 평가자의 합의를 모델링하여 OOD 탐지 성능을 향상시키기 위해.

제안 방법

• 여러 평가자 간의 합의 과정으로 데이터셋 셀렉션을 모델링하며, 일치는 잘 정의된 클래스 레이블을, 이견은 정의되지 않은 레이블(UCL 포인트)을 의미한다.
• 평가자 응답의 이견을 애자일러티브 불확실성으로 형식화하며, 이는 모델의 예측 확률과 연결된다.
• 합의 실패의 확률에 기반해 UCL 포인트에 대한 가능도 함수를 유도함으로써, 이방자료와 함께 원칙적인 베이지안 추론이 가능하게 한다.
• 이 가능도를 베이지안 신경망(BNN) 학습에 통합하여, 이방자료 노출을 가능도 항으로 간주할 수 있도록 한다.
• 생성 모델을 활용해 정의되지 않은 레이블을 가진 OOD 포인트를 조건부로 설정함으로써, 특수 목적의 목표 없이도 베이지안 OE를 가능하게 한다.
• BNN에서 유래한 지식 불확실성과 합의 실패에서 유도된 애자일러티브 불확실성을 통합하여 OOD 탐지 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 애자일러티브 불확실성이 베이지안 프레임워크 내에서 OOD 탐지의 신호로 공식적으로 정당화될 수 있는가?
• RQ2 원칙적인 가능도를 활용해 이방자료 노출을 어떻게 베이지안 OOD 탐지에 통합할 수 있는가?
• RQ3 데이터셋 셀렉션의 생성 모델이 왜 애자일러티브 불확실성이 특정 유형의 OOD 데이터를 탐지하는 데 효과적인지 설명할 수 있는가?
• RQ4 애자일러티브 불확실성, 지식 불확실성, 그리고 베이지안 이방자료 노출을 통합하면 OOD 탐지 성능이 향상되는가?

주요 결과

• 제안된 방법은 이방자료 노출 없이도 기존의 베이지안 방법보다 우수한 AUROC 및 FPR95 점수를 달성한다.
• 애자일러티브 불확실성 기반의 표준 방법들보다도 뛰어나며, 이는 원칙적인 가능도 없이 이방자료 노출을 적용한 방법들(예: Hendrycks 등, 2018)을 초월한다.
• UCL 포인트에 대한 가능도를 통해 이방자료 노출를 통합함으로써 OOD 탐지 성능 향상이 명백하게 측정된다.
• 애자일러티브 불확실성이 정의되지 않은 클래스 레이블을 가진 OOD 포인트를 효과적으로 신호로 삼는 것으로 확인되었으며, 이는 합의 기반의 생성 모델에 의해 뒷받침된다.
• 이 방법은 기존의 특수 목적의 목표로 인해 애매한 이방자료 노출(OE)에 대해 공식적인 베이지안 해석을 제공한다.