[논문 리뷰] BaCOUn: Bayesian Classifers with Out-of-Distribution Uncertainty

Théo Guénais, Dimitris Vamvourellis외 3명|arXiv (Cornell University)|2020. 07. 12.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 5

한 줄 요약

BaCOUn은 데이터 생성기를 도입하여 분포 외(OOD) 유사 경계점들을 생성함으로써 신뢰할 수 있는 불확실성 추정을 제공하는 확장 가능한 베이지안 프레임워크를 제안한다. 정규화 흐름을 사용해 데이터 다양체를 모델링하고 특징에 대해 베이지안 추론을 적용함으로써, GP 유사한 불확실성 분해—지식 기반(epistemic) 및 임의 기반(aleatoric)—를 달성한다. 이는 합성 및 실제 데이터셋에서 표준 NLM과 BNN보다 OOD 탐지 및 불확실성 校정 성능에서 뛰어나다.

ABSTRACT

Traditional training of deep classifiers yields overconfident models that are not reliable under dataset shift. We propose a Bayesian framework to obtain reliable uncertainty estimates for deep classifiers. Our approach consists of a plug-in "generator" used to augment the data with an additional class of points that lie on the boundary of the training data, followed by Bayesian inference on top of features that are trained to distinguish these "out-of-distribution" points.

연구 동기 및 목표

• 표준 신경선형모델(NLM)에서 데이터가 부족한 영역에서 지식 기반 불확실성 증가에 실패함으로써 신뢰할 수 있는 OOD 불확실성 추정이 부족한 문제를 해결하기 위해.
• 베이지안 신경망(BNN)과 가우시안 프로세스(GP)의 확장 가능한 대안을 개발하여 정확한 불확실성 분해—지식 기반(OOD 및 모델 불확실성)과 임의 기반—을 제공하기 위해.
• 의료 진단과 같이 인간이 의사결정에 관여하는 고위험 분야에서 불확실성 인식 모델의 실용적 구현을 가능하게 하기 위해.
• OOD 불확실성을 효과적으로 모델링하기 위해 학습 목표를 경계 인식 데이터 증강을 포함하도록 수정할 수 있는가를 입증하기 위해.

제안 방법

• 플러그인 생성기가 훈련 데이터 다양체의 경계에 위치한 합성 분포 외(OOD) 점들을 생성하여 데이터가 부족한 영역을 시뮬레이션한다.
• 정규화 흐름이 원본 데이터와 생성된 OOD 점들을 기반으로 기저 데이터 밀도와 기하학을 모델링하도록 훈련된다.
• 특징 매핑 φθ가 내재된 데이터와 OOD 점을 구분하도록 훈련되어 불확실성 추정을 위한 표현력 있는 표현을 향상시킨다.
• 베이지안 추론은 마지막 레이어 가중치 W에만 적용되며, 사전분포 p(W)를 사용하여 해석적 사후분포 계산과 예측 불확실성 추정이 가능하다.
• 사후 예측 분포는 p(y*|x*, D) = ∫ p(y*|x*, W) p(W|D, θ*) dW로 계산되며, 이는 불확실성 인식 예측을 가능하게 한다.
• 이상치 탐지는 정규화 흐름의 로그확률 점수를 기반으로 데이터 포인트를 순위 매겨 가장 낮은 점수를 가진 k개의 점을 제거함으로써 수행된다.

실험 결과

연구 질문

• RQ1 표준 신경선형모델(NLM)은 베이지안 설정을 갖추고 있음에도 불구하고, 분포 외 입력에 대해 지식 기반 불확실성을 증가시키지 못하는 이유는 무엇인가?
• RQ2 확장 가능한 베이지안 프레임워크를 설계하여 가우시안 프로세스(GP) 수준의 정확한 OOD 불확실성 추정을 제공하면서도 NLM의 효율성을 유지할 수 있는가?
• RQ3 학습 목표를 어떻게 수정하면 고밀도 데이터 영역을 둘러싸는 결정 경계를 유도하여 더 나은 OOD 일반화를 달성할 수 있는가?
• RQ4 사전에 분포를 알지 못한 상태에서 정규화 흐름을 효과적으로 사용해 이상치를 탐지하고 제거할 수 있는가?

주요 결과

• 합성 데이터셋에서 BaCOUn은 OOD 점에 대해 지식 기반 불확실성을 증가시키는 데 있어 가우시안 프로세스(GP)와 유사한 불확실성 추정을 달성하지만, 기준선 NLM과 BNN은 이를 크게 과소평가한다.
• 실제 데이터셋에서 BaCOUn은 내재된 데이터에 대해 높은 AUC를 기록하며, 내재된 데이터와 OOD 테스트 샘플을 구분하는 데 뛰어난 능력을 보였다.
• 점점 더 노이즈가 많은 MNIST 숫자에 적용했을 때, BaCOUn은 데이터 포인트가 다양체에서 멀어질수록 지식 기반 불확실성을 정확히 증가시키지만, 기준선 NLM은 이러한 증가가 없음을 보였다.
• 정규화 흐름의 로그확률 히트맵과 k점 선택 결과를 시각화함으로써, BaCOUn은 인위적 편향이 가미된 합성 데이터에서 이상치를 성공적으로 식별하고 제거하였다.
• BaCOUn은 유효한 숫자처럼 보이는 회전된 MNIST 숫자(예: '9'를 '6'처럼 보이게 회전)에 대해 낮은 불확실성을 유지하여 분포 이동에 대한 강건성을 보였다.
• 이 프레임워크는 분리된 불확실성 분해를 가능하게 하였으며, 지식 기반 불확실성은 OOD 거리가 멀어질수록 증가하고, 임의 기반 불확실성은 안정적으로 유지되어 모델이 불확실성의 원인을 정확히 이해하고 있음을 반영하였다.