[論文レビュー] Prior and Posterior Networks: A Survey on Evidential Deep Learning Methods For Uncertainty Estimation

Dennis Ulmer, Christian Hardmeier+1 more|arXiv (Cornell University)|Oct 6, 2021

Adversarial Robustness in Machine Learning参考文献 167被引用数 18

ひとこと要約

本調査では、ディリクレ分布を用いて予測分布をモデル化することにより、1回の順伝播で不確実性を評価可能なEvidential Deep Learningという、深層ニューラルネットワークにおける不確実性推定の手法を紹介する。分類と回帰の両方の設定において、事前分布および事後分布を統合的に扱い、不確実性のキャリブレーション、OOD検出、実用的な実装技術について、実証的ベンチマークと理論的導出を併用して解説する。

ABSTRACT

Popular approaches for quantifying predictive uncertainty in deep neural networks often involve distributions over weights or multiple models, for instance via Markov Chain sampling, ensembling, or Monte Carlo dropout. These techniques usually incur overhead by having to train multiple model instances or do not produce very diverse predictions. This comprehensive and extensive survey aims to familiarize the reader with an alternative class of models based on the concept of Evidential Deep Learning: For unfamiliar data, they aim to admit "what they don't know", and fall back onto a prior belief. Furthermore, they allow uncertainty estimation in a single model and forward pass by parameterizing distributions over distributions. This survey recapitulates existing works, focusing on the implementation in a classification setting, before surveying the application of the same paradigm to regression. We also reflect on the strengths and weaknesses compared to other existing methods and provide the most fundamental derivations using a unified notation to aid future research.

研究の動機と目的

• 深層ニューラルネットワークにおける不確実性推定のためのEvidential Deep Learning手法について、包括的かつアクセス可能な概要を提供すること。
• 分類および回帰の設定において、ディリクレ分布を用いて事前分布または事後分布をパrameter化する既存のアプローチを統一的に比較すること。
• 不確実性キャリブレーションにおける課題を強調し、OODトレーニング、知識蒸留、密度推定などの解決策を提案すること。
• 再現可能性と今後の研究を支援するため、一貫性のある表記法を用いて主要な式を導出すること。
• 不確実性評価の研究コミュニティにとどまらず、Evidential Deep Learningの広範な採用を促進すること。

提案手法

• モデルはディリクレ分布を用いて事後予測分布をパラメータライズし、濃度パラメータαを用いて不確実性を推定する。
• 予測分布はモンテカルロサンプルやアンサンブル平均を避けて、1回の順伝播で計算される。
• 分類では、ディリクレ事前分布を用い、予測からの証拠で更新し、不確実性はα₀ = ∑αₖから導出される。
• OODデータの増強、知識蒸留、エントロピー正則化などの技術が、不確実性キャリブレーションの向上に用いられる。
• 回帰では、共役事前分布と出力上の証拠分布を用いて予測分布をモデル化するフレームワークに拡張される。
• 本調査では、期待値、分散、ディガンマ関数を含むディリクレ分布の主要な式を導出し、理論的一致性を支援する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、特に分布外（OOD）入力に対して、どのように明示的な不確実性を表現できるか？
• RQ2 Evidential Deep Learningにおける事前ネットワークと事後ネットワークの主な違いは何か。また、それらは不確実性推定にどのように影響を与えるか？
• RQ3 OODデータの増強や知識蒸留といった技術は、証拠モデルにおける不確実性キャリブレーションをどのように改善するか？
• RQ4 分類および回帰におけるディリクレ分布に基づく不確実性推定の理論的基盤と実装方法は何か？
• RQ5 MCドロップアウト やアンサンブルといった従来のベイジアン手法と比較して、証拠モデルの性能とキャリブレーションはどの程度か？

主な発見

• Evidential Deep Learningは1回の順伝播で不確実性推定が可能であり、アンサンブルやMCMC手法と比較して推論コストを著しく削減できる。
• 予測不確実性にディリクレ分布を用いたモデルは、分布外入力に対して事前信念に従って戻ることで、キャリブレーションが向上する。
• トレーニング時にOOD例を組み込むことで、バキュイティ（証拠の欠如）が軽減され、分布外サンプルの検出性能が向上する。
• 知識蒸留とエントロピー正則化は、特にデータが少ない状況下でも訓練の安定化と不確実性推定の向上に寄与する。
• グラフベースまたはカーネルベースの密度推定を用いることで、局所構造や近隣情報を取り入れた不確実性モデリングが向上する。
• 期待値やディガンマ関数を含むディリクレ分布の理論的導出は、一貫性のある不確実性評価に不可欠であり、本調査で統一的に提示されている。