[論文レビュー] Natural Posterior Network: Deep Bayesian Predictive Uncertainty for Exponential Family Distributions.

Bertrand Charpentier, Oliver Borchert+3 more|arXiv (Cornell University)|May 10, 2021

Gaussian Processes and Bayesian Inference参考文献 74被引用数 12

ひとこと要約

本論文では、トレーニング時に分布外（OOD）データを必要とせずに指数型分布における不確実性推定のための深層ベイジアン手法であるNatural Posterior Network（NatPN）を提案する。タスク固有の潜在空間を正規化フローでモデル化し、予測された尤度を用いてベイジアン更新を行うことで、分類、回帰、カウント予測の各タスクにおいて高品質な不確実性評価を達成し、OOD検出およびキャリブレーション性能も優れている。

ABSTRACT

Uncertainty awareness is crucial to develop reliable machine learning models. In this work, we propose the Natural Posterior Network (NatPN) for fast and high-quality uncertainty estimation for any task where the target distribution belongs to the exponential family. Thus, NatPN finds application for both classification and general regression settings. Unlike many previous approaches, NatPN does not require out-of-distribution (OOD) data at training time. Instead, it leverages Normalizing Flows to fit a single density on a learned low-dimensional and task-dependent latent space. For any input sample, NatPN uses the predicted likelihood to perform a Bayesian update over the target distribution. Theoretically, NatPN assigns high uncertainty far away from training data. Empirically, our extensive experiments on calibration and OOD detection show that NatPN delivers highly competitive performance for classification, regression and count prediction tasks.

研究の動機と目的

• トレーニング時に分布外（OOD）データに依存しないスケーラブルで信頼性の高い機械学習モデルの不確実性推定手法の開発。
• 分類や回帰を含む、指数型分布を含むあらゆるタスクにおけるベイジアン不確実性評価の実現。
• 正規化フローを用いて低次元のタスク依存潜在空間で予測不確実性を効果的にモデル化すること。
• トレーニングデータから離れた入力に対して高い不確実性を割り当てることで、OOD検出の向上を図ること。
• 多様な回帰および分類タスクにおいて、競争力のあるキャリブレーションおよび不確実性推定性能を達成すること。

提案手法

• NatPNは、入力特徴から導出される低次元でタスク依存の潜在空間上に、単一の密度を学習する正規化フローを用いる。
• モデルは自然パrameter空間におけるターゲット分布の尤度を予測し、共役事前分布を用いたベイジアン更新を可能にする。
• 各入力に対して、予測された尤度を用いてパラメータの事後分布を計算するベイジアン更新を実行する。
• この手法は指数型分布フレームワーク内に位置づけられ、ガウス分布、ポアソン分布、ベルヌーイ分布、その他の標準的分布への適用が可能である。
• 潜在空間はトレーニング中にエンドツーエンドで学習され、タスクに適応し、分布の仮定を軽減する。
• トレーニング時にOODデータが不要である。不確実性はモデルの尤度に基づくベイジアン更新から自然に生じる。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時にOODデータを必要とせずに、指数型分布における高品質な不確実性推定を達成できるか？
• RQ2 NatPNは多様な回帰および分類タスクにおいて、キャリブレーションおよびOOD検出の観点でどの程度の性能を示すか？
• RQ3 学習された潜在空間上に定義された単一の密度が、多様な予測タスクにおける複雑な不確実性パターンを効果的にモデル化できるか？
• RQ4 理論的に期待されるように、NatPNはトレーニング分布から離れた入力に対して高い不確実性を割り当てるか？
• RQ5 既存のベイジアンディープラーニング手法と比較して、NatPNは不確実性の質および計算効率の観点でどの程度の性能を示すか？

主な発見

• NatPNは、分類、回帰、カウント予測の各タスクにおいて、不確実性キャリブレーションで非常に高い性能を達成している。
• モデルはトレーニング時にOODデータを必要とせず、強力な分布外（OOD）検出性能を示している。
• NatPNは、トレーニング分布から離れた入力に対して高い不確実性を割り当てており、理論的期待と整合的である。
• タスク固有の潜在空間における正規化フローの使用により、柔軟かつ正確な不確実性モデリングが可能になった。
• ガウス分布、ベルヌーイ分布、ポアソン分布を含む多様な指数型分布において、高品質な不確実性推定を維持している。
• OODデータに依存しないという利点を有しながら、不確実性評価分野で最先端または競争力のある結果を達成している。