[論文レビュー] Uncertainty Estimation by Fisher Information-based Evidential Deep Learning

Danruo Deng, Guangyong Chen+3 more|arXiv (Cornell University)|Mar 3, 2023

Adversarial Robustness in Machine Learning被引用数 12

ひとこと要約

この論文は Fisher Information-based Evidential Deep Learning (I-EDL) を導入し、Fisher Information Matrix を用いて evidential learning losses を再ウェイトし、PAC-Bayesian bound で汎化を強化して不確実性推定と OOD 検出を改善し、特に few-shot 設定で効果を発揮する。

ABSTRACT

Uncertainty estimation is a key factor that makes deep learning reliable in practical applications. Recently proposed evidential neural networks explicitly account for different uncertainties by treating the network's outputs as evidence to parameterize the Dirichlet distribution, and achieve impressive performance in uncertainty estimation. However, for high data uncertainty samples but annotated with the one-hot label, the evidence-learning process for those mislabeled classes is over-penalized and remains hindered. To address this problem, we propose a novel method, Fisher Information-based Evidential Deep Learning ($\mathcal{I}$-EDL). In particular, we introduce Fisher Information Matrix (FIM) to measure the informativeness of evidence carried by each sample, according to which we can dynamically reweight the objective loss terms to make the network more focused on the representation learning of uncertain classes. The generalization ability of our network is further improved by optimizing the PAC-Bayesian bound. As demonstrated empirically, our proposed method consistently outperforms traditional EDL-related algorithms in multiple uncertainty estimation tasks, especially in the more challenging few-shot classification settings.

研究の動機と目的

• データ・モデル・分布的不確実性全体にわたる信頼できる不確実性推定の動機付け。
• 古典的 evidential ネットワークで高い不確実性サンプルの証拠の学習ミスを是正する。
• サンプルごとおよびクラスごとに損失項を適応的に重み付けする Fisher Information-based 機構の導入。
• 汎化を強化し理論的根拠を提供するために PAC-Bayesian Bound を組み込む。

提案手法

• ターゲットを alpha = f_theta(x) + 1 の Dirichlet 分布から生じるとモデル化する。
• Dir(alpha) の Fisher Information Matrix を用いてクラス別の情報量を測定し、y 生成分散を I(alpha)^{-1} に設定する。
• I-MSE と情報量の大きさに関するペナルティ、KL 項、および FIM の行列式を考慮する項（PAC-Bayesian bound を介して）を組み合わせた目的関数を導出する。
• トレーニング中に証拠を per-sample, per-class に再重み付け可能にして、不確かなクラスへ学習を焦点化する。
• 損失を最適化する: L = L_I-MSE - lambda1 L_|I| + lambda2 L_KL、各成分は alpha と digamma/trigamma 関数に基づく定義。

実験結果

リサーチクエスチョン

• RQ1 Fisher Information は証拠のクラス別情報量を定量化し、学習を再重み付けして不確かなクラス表現を改善できるか。
• RQ2 FIM と PAC-Bayesian bound の組み込みは不確実性の較正、OOD 検出、few-shot 分類性能を改善するか。
• RQ3 I-EDL は標準の EDL や他の Dirichlet ベースの不確実性モデルと比較して、データセットとタスク全般でどの程度改善するか。
• RQ4 PAC-Bayesian bound は evidential ネットワークの一般化にどのような役割を果たすか。

主な発見

• I-EDL は OOD 検出と信頼度評価を含む複数のタスクで Dirichlet ベースの不確実性モデルの中で最先端の性能を達成。
• few-shot mini-ImageNet 設定で精度と不確実性指標の改善をもたらす。
• FIM ベースの再重み付けにより不確かなクラスへ学習を集中させ、ラベルノイズやデータ不確実性に対する堅牢性を向上させる。
• 実証的な結果は I-EDL が EDL、PN 変種、MC Dropout などのベースラインを複数のベンチマークで上回ることを示している。
• PAC-Bayesian コンポーネントは経験的な利得を補完する理論的な一般化保証フレームワークを提供する。