[論文レビュー] A Survey on Evidential Deep Learning For Single-Pass Uncertainty Estimation.

Dennis Ulmer|arXiv (Cornell University)|Oct 6, 2021

Adversarial Robustness in Machine Learning参考文献 58被引用数 14

ひとこと要約

本調査では、予測分布の分布のパラメータ化により不確実性を明示的に表現する、深層学習における不確実性推定のための単一モデル手法として、証拠ベース深層学習（EDL）を紹介する。1回の順伝播で信頼性の高い不確実性評価が可能であり、アンサンブル法やモンテカルロドロップアウト法に比べ、分布外データの処理および事前信念のキャリブレーションにおいて優れた性能を発揮する。

ABSTRACT

Popular approaches for quantifying predictive uncertainty in deep neural networks often involve a set of weights or models, for instance via ensembling or Monte Carlo Dropout. These techniques usually produce overhead by having to train multiple model instances or do not produce very diverse predictions. This survey aims to familiarize the reader with an alternative class of models based on the concept of Evidential Deep Learning: For unfamiliar data, they admit what they don't know and fall back onto a prior belief. Furthermore, they allow uncertainty estimation in a single model and forward pass by parameterizing distributions over distributions. This survey recapitulates existing works, focusing on the implementation in a classification setting. Finally, we survey the application of the same paradigm to regression problems. We also provide a reflection on the strengths and weaknesses of the mentioned approaches compared to existing ones and provide the most central theoretical results in order to inform future research.

研究の動機と目的

• アンサンブル法やモンテカルロドロップアウト法に対するスケーラブルな代替手法として、証拠ベース深層学習（EDL）を紹介すること。
• 1つのモデルを用いて1回の順伝播で不確実性評価を可能にし、計算コストの低減を実現すること。
• 分類タスクにおける予測不確実性をモデル化するためのディリクレ分布の形式的使用を明確化すること。
• EDLの枠組みを回帰問題に拡張し、分類にとどまらない応用範囲の拡大を図ること。
• 既存の不確実性推定手法と比較して、EDLの長所と短所を批判的に評価すること。

提案手法

• クラス確率の信念を自然に表現できるディリクレ分布を用いて、予測分布をパラメータ化することで、不確実性をモデル化する。
• 1つのディープニューラルネットワークを用いてディリクレ分布のパラメータを出力し、適切なスコアリングルールを用いたエンドツーエンド学習を可能にする。
• 過信した予測を罰するように促進し、未知の入力に対して不確実性を高めるようにする証拠に基づく損失関数を適用する。
• 証拠が少ない場合に事前信念をデフォルト状態として活用し、モデルが無知を明示的に表現できるようにする。
• 正規分布やガンマ分布などのパラメータ化された分布を用いて予測分布をモデル化することで、回帰問題へのフレームワークの拡張を図る。
• 分類および回帰の両方に対して微分可能な損失関数を用いて、標準的な学習パイプラインに証拠ベースの形式を統合する。

実験結果

リサーチクエスチョン

• RQ1 EDLは、アンサンブル法やモンテカルロドロップアウト法と比較して、不確実性のキャリブレーションおよび計算効率の面でどのように異なるか？
• RQ2 証拠が少ない場合に事前信念にフォールバックすることで、EDLは分布外入力の不確実性を効果的にモデル化できるか？
• RQ3 証拠に基づく不確実性推定の理論的基盤と主な性質は何か？
• RQ4 EDLフレームワークは回帰タスクにどのように適合・適用できるか？
• RQ5 他の不確実性推定手法と比較して、EDLの主な制限は何か？

主な発見

• EDLは、アンサンブル法に比べて顕著に低い推論コストで、競争力のある不確実性キャリブレーションを達成する。
• 証拠が少ない未知の入力に対して高い不確実性を割り当てることで、OOD（分布外）検出性能が優れている。
• 証拠が少ない場合にEDLモデルは自然に事前信念にフォールバックし、明示的な不確実性表現が可能になる。
• ディリクレ分布の使用により、1回の順伝播で微分可能かつスケーラブルな不確実性推定が実現できる。
• 正規分布やガンマ分布などのパラメータ化された分布族を用いることで、回帰問題への一般化が可能である。
• 理論的分析により、証拠に基づく損失関数が、うまくキャリブレーションされた不確実性推定を促進することが確認された。