[論文レビュー] The Unreasonable Effectiveness of Deep Evidential Regression

N. Meinert, Jakob Gawlikowski+1 more|arXiv (Cornell University)|May 20, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

この論文は、サンプリングを伴わずに、証拠分布を用いて深層学習における推定量的およびエピステミック的不確実性を推定するDeep Evidential Regression (DER) を調査する。実験的成果は見られるが、著者らはDERが理論的欠陥を有するヒューリスティックであることを明らかにし、その有効性が一貫した収束パターンに起因することを示し、より信頼性の高い不確実性推定のための修正定義を提案する。

ABSTRACT

There is a significant need for principled uncertainty reasoning in machine learning systems as they are increasingly deployed in safety-critical domains. A new approach with uncertainty-aware regression-based neural networks (NNs), based on learning evidential distributions for aleatoric and epistemic uncertainties, shows promise over traditional deterministic methods and typical Bayesian NNs, notably with the capabilities to disentangle aleatoric and epistemic uncertainties. Despite some empirical success of Deep Evidential Regression (DER), there are important gaps in the mathematical foundation that raise the question of why the proposed technique seemingly works. We detail the theoretical shortcomings and analyze the performance on synthetic and real-world data sets, showing that Deep Evidential Regression is a heuristic rather than an exact uncertainty quantification. We go on to discuss corrections and redefinitions of how aleatoric and epistemic uncertainties should be extracted from NNs.

研究の動機と目的

• 深層ニューラルネットワークにおける推定量的およびエピステミック的不確実性を分離できると主張するDeep Evidential Regression (DER) の理論的基盤を調査すること。
• DERに内在する数学的欠陥を特定・分析し、それが原理的不確実性推定手法としての信頼性を損なう要因となることの理由を明らかにすること。
• 合成データおよび実世界のデータセットを用いたDERの性能評価を通じて、その不確実性推定の妥当性を検証すること。
• 証拠理論に基づき、深層ニューラルネットワークにおける推定量的およびエピステミック的不確実性の修正定義および再定義を提案すること。
• DERが理論的不一致にもかかわらずなぜ効果的に機能するのかを解明し、その成功が予測不確実性の収束行動に起因することを明らかにすること。

提案手法

• 著者らは、証拠分布を用いてDERの理論的基盤を導出する。正規逆ガンマ分布（NIG）と類似したパラメータを用いて不確実性をモデル化する。
• 予測不確実性とモデルの収束の関係を分析し、DERの性能が真の不確実性分解ではなく、トレーニングダイナミクスに依存していることを特定する。
• 深層ニューラルネットワークを訓練し、平均および分散の証拠に対応するパラメータを予測させる。その後、閉形式式を用いて推定量的およびエピステミック的不確実性を計算する。
• DERをベイジアンニューラルネットワークおよびモンテカルロドロップアウトと比較し、DERのサンプリング不要性と計算効率の高さを強調するとともに、理論的不整合性も指摘する。
• 真のノイズ構造やサンプルサイズ効果が既知の合成データを用いて、不確実性タイプの分離を隔離し、測定する。
• 研究では、エピステミック的不確実性を予測分布の平均の分散として再定義し、推定量的不確実性を期待される分散として再定義する。これは適切なベイジアン原則に基づく。

実験結果

リサーチクエスチョン

• RQ1 Deep Evidential Regression は、理論的基盤に欠陥があるにもかかわらず、実務でなぜうまく機能するのか。
• RQ2 相関するノイズや限られたデータが存在する状況下で、DER は推定量的およびエピステミック的不確実性をどの程度正確に分離できるか。
• RQ3 DER における不確実性予測の収束パターンは、その実験的性能とどのように関連しているか。
• RQ4 深層学習における証拠分布を用いる場合、推定量的およびエピステミック的不確実性の正しい理論的定義は何か。
• RQ5 DER は、サンプリングや分布外データを必要としないまま、原理的不確実性推定を修正可能か。

主な発見

• Deep Evidential Regression は原理的不確実性推定手法ではなく、不確実性予測の収束パターンが有利であるためのヒューリスティックである。
• 本研究では、DER が標準確率的仮定下で推定量的およびエピステミック的不確実性を分離するのは数学的に正当化されていないことが判明し、特に証拠分布の誤ったパrameterization が原因である。
• 合成データでは、真のデータ生成過程に異方性ノイズや変動するサンプルサイズが含まれる場合、DER は不確実性タイプの分離を適切に行えない。これは、その不確実性推定の一般化能力が低いことを示している。
• 著者らは、DER におけるエピステミック的不確実性が適切にキャリブレーションされておらず、ベイジアンモデルが期待するようにサンプルサイズに比例して増加しないことを実証した。これは、安全性が求められる応用分野での信頼性を損なう。
• 研究では、低データ領域ではエピステミック的不確実性を過剰に推定し、高データ領域では過小推定していることが示され、キャリブレーションが不十分であることが明らかになった。
• エピステミック的不確実性を予測分布の平均の分散、推定量的不確実性を期待される分散として再定義することで、制御された環境下でより一貫性があり理論的に整合性のある不確実性推定が得られた。