[論文レビュー] Posterior Network: Uncertainty Estimation without OOD Samples via Density-Based Pseudo-Counts

Bertrand Charpentier, Daniel Zügner+1 more|arXiv (Cornell University)|Jun 16, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用数 60

ひとこと要約

Posterior Network は クラス条件付き正規化フローを用いて 入力依存の Dirichlet 後方分布を構築し、OOD データなしで不確実性推定を可能にし、OOD 検出とキャリブレーションを改善します。

ABSTRACT

Accurate estimation of aleatoric and epistemic uncertainty is crucial to build safe and reliable systems. Traditional approaches, such as dropout and ensemble methods, estimate uncertainty by sampling probability predictions from different submodels, which leads to slow uncertainty estimation at inference time. Recent works address this drawback by directly predicting parameters of prior distributions over the probability predictions with a neural network. While this approach has demonstrated accurate uncertainty estimation, it requires defining arbitrary target parameters for in-distribution data and makes the unrealistic assumption that out-of-distribution (OOD) data is known at training time. In this work we propose the Posterior Network (PostNet), which uses Normalizing Flows to predict an individual closed-form posterior distribution over predicted probabilites for any input sample. The posterior distributions learned by PostNet accurately reflect uncertainty for in- and out-of-distribution data -- without requiring access to OOD data at training time. PostNet achieves state-of-the art results in OOD detection and in uncertainty calibration under dataset shifts.

研究の動機と目的

• Safety-critical な領域での信頼性のある不確実性推定をニューラルネットワークに対して動機づける。
• 訓練時に OOD データを必要とする従来の Dirichlet ベース不確実性モデルの制限に対処する。
• 訓練時に OOD サンプルをアクセスできない状態で、ID データと OOD データの両方に対して良くキャリブレーションされた不確実性を得るフレームワークを提案する。
• 入力に依存するクラス確率の後方分布をモデル化するために正規化フローを活用する。

提案手法

• 予測 per-input Dirichlet パラメータを prior-plus-pseudo-count 更新として beta^(i) = beta^(prior) + beta^(i) ただし alpha^(i)=beta^(prior)+beta^(i)。
• 入力を latent z にエンコードする via f_theta および class-conditional densities P(z|c;phi) を正規化フローで学習する。
• beta^(prior) = 1 (flat prior) を設定し、クラス固有の潜在密度と真のクラス数から beta^(i) を導出する。
• Uncertain Cross Entropy (UCE) とエントロピー正則化項を組み合わせた Bayesian に似た損失で End-to-End 学習する。
• Dirichlet パラメータから不確実性を計算する。ID データはエピステミック不確実性が低く真のクラス後方分布に近づき、OOD はエピステミック不確実性が高くなる。
• 潜在空間の密度を用いて、explicit な OOD サンプルなしで OOD 検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 訓練時に OOD データへアクセスせずに、入力依存のクラス確率後方分布を学習できるモデルは存在するか。
• RQ2 潜在空間のクラス条件付き密度は、分布シフト下で効果的な OOD 検出と不確実性のキャリブレーションを可能にするか。
• RQ3 PostNet は ID 対応 OOD サンプルのためにアレアリックとエピステミック不確実性のバランスをどうとるか。
• RQ4 ベイジアン風損失と密度ベースの疑似カウントで訓練する方が、従来の Prior Networks やアンサンブルより不確実性推定に有効か。
• RQ5 エンコーダのアーキテクチャと密度の型（Gaussian の混合、半径フロー、IAF）が性能に与える影響は何か。

主な発見

• PostNet は OOD データを訓練時に用いずに競争力のある精度と信頼度キャリブレーションを示す。
• PostNet は Prior Networks を含む Dirichlet ベースのベースラインと比較して OOD 検出を著しく改善する。
• 潜在空間のフローに基づく密度推定は、データセット全体で強力な OOD およびキャリブレーション性能を示す。
• ベイズ風の損失と密度推定が、頑健な不確実性推定と OOD 区別のために決定的であることをアブレーションで示す。
• MNIST, CIFAR-10, Sensorless Drive での結果は、アーキテクチャとデータ regimes にわたり良好な不確実性推定を示す。