[논문 리뷰] Natural Posterior Network: Deep Bayesian Predictive Uncertainty for Exponential Family Distributions.

Bertrand Charpentier, Oliver Borchert외 3명|arXiv (Cornell University)|2021. 05. 10.

Gaussian Processes and Bayesian Inference참고 문헌 74인용 수 12

한 줄 요약

이 논문은 훈련 시에 분포 외 데이터(OOD)가 필요 없이 지수족 분포에서의 불확실성 추정을 위한 딥 베이지안 방법인 자연 후행망(NatPN)을 제안한다. 작업에 특화된 잠재 공간을 모델링하기 위해 정규화 플로우(Normalizing Flows)를 사용하고, 예측된 우도를 통해 베이지안 업데이트를 수행함으로써 NatPN은 분류, 회귀, 카운트 예측 작업 전반에서 높은 품질의 불확실성 정량화를 달성하며, 강력한 OOD 탐지 및 校정 성능을 보인다.

ABSTRACT

Uncertainty awareness is crucial to develop reliable machine learning models. In this work, we propose the Natural Posterior Network (NatPN) for fast and high-quality uncertainty estimation for any task where the target distribution belongs to the exponential family. Thus, NatPN finds application for both classification and general regression settings. Unlike many previous approaches, NatPN does not require out-of-distribution (OOD) data at training time. Instead, it leverages Normalizing Flows to fit a single density on a learned low-dimensional and task-dependent latent space. For any input sample, NatPN uses the predicted likelihood to perform a Bayesian update over the target distribution. Theoretically, NatPN assigns high uncertainty far away from training data. Empirically, our extensive experiments on calibration and OOD detection show that NatPN delivers highly competitive performance for classification, regression and count prediction tasks.

연구 동기 및 목표

• 훈련 시에 분포 외(OOD) 데이터에 의존하지 않는 확장성 있고 신뢰할 수 있는 기계학습 모델의 불확실성 추정 방법을 개발하는 것.
• 분류 및 회귀를 포함한 지수족 분포를 포함한 모든 작업에 대해 베이지안 불확실성 정량화를 가능하게 하는 것.
• 정규화 플로우를 사용하여 저차원의 작업에 특화된 잠재 공간에서 예측 불확실성을 효과적으로 모델링하는 것.
• 훈련 데이터에서 멀리 떨어진 입력에 대해 높은 불확실성을 할당함으로써 OOD 탐지 성능을 향상시키는 것.
• 다양한 회귀 및 분류 작업 전반에서 경쟁적인 校정 및 불확실성 추정 성능을 달성하는 것.

제안 방법

• NatPN는 입력 특징에서 파생된 저차원의 작업에 특화된 잠재 공간에 대해 단일 밀도를 학습하기 위해 정규화 플로우를 사용한다.
• 모델은 자연 모수 공간에서 목표 분포의 우도를 예측함으로써 공액 사전을 통한 베이지안 업데이트를 가능하게 한다.
• 각 입력에 대해 NatPN는 예측된 우도를 사용하여 모수에 대한 후행 분포를 계산하기 위해 베이지안 업데이트를 수행한다.
• 이 방법은 지수족 프레임워크 내에서 작동하므로 가우스, 포아송, 베르누이 등 표준 분포에 모두 적용 가능하다.
• 잠재 공간은 훈련 중에 엔드 투 엔드로 학습되며, 특정 작업에 적응하면서 분포 가정을 줄인다.
• 훈련 시 OOD 데이터가 필요 없으며, 불확실성은 모델의 우도 기반 베이지안 업데이트에서 자연스럽게 유도된다.

실험 결과

연구 질문

• RQ1 훈련 시에 OOD 데이터가 필요 없이 지수족 분포에 대해 높은 품질의 불확실성 추정을 달성할 수 있는가?
• RQ2 NatPN는 다양한 회귀 및 분류 작업에서 校정 및 OOD 탐지 성능 측면에서 얼마나 잘 작동하는가?
• RQ3 학습된 잠재 공간에 대한 단일 밀도가 다양한 예측 작업에서 복잡한 불확실성 패턴을 효과적으로 모델링할 수 있는가?
• RQ4 이론적으로 예상되는 바와 같이 NatPN은 훈련 분포에서 멀리 떨어진 입력에 대해 더 높은 불확실성을 할당하는가?
• RQ5 기존의 베이지안 딥 러닝 방법과 비교해 볼 때 NatPN의 불확실성 품질과 계산 효율성은 어떠한가?

주요 결과

• NatPN는 분류, 회귀, 카운트 예측 작업 전반에서 불확실성 校정 측면에서 매우 경쟁적인 성능을 달성한다.
• 모델은 훈련 시 OOD 데이터가 필요 없이도 강력한 분포 외(OOD) 탐지 성능을 보인다.
• NatPN는 훈련 분포에서 멀리 떨어진 입력에 대해 높은 불확실성을 할당하여 이론적 기대와 일치한다.
• 작업에 특화된 잠재 공간에서 정규화 플로우를 사용함으로써 민첩하고 정확한 불확실성 모델링이 가능해진다.
• 가우스, 베르누이, 포아송을 포함한 다양한 지수족 분포 전반에서 NatPN은 높은 품질의 불확실성 추정을 유지한다.
• OOD 데이터에 의존하지 않으면서도 불확실성 정량화 측면에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.