[論文レビュー] Estimating Uncertainty Intervals from Collaborating Networks

Tianhui Zhou, Yitong Li+2 more|arXiv (Cornell University)|Feb 12, 2020

Statistical Methods and Inference被引用数 4

ひとこと要約

本論文では、2つのニューラルネットワークを用いて条件付き累積分布関数（CDF）とその逆関数を同時に近似することで、回帰における不確実性区間を推定する、新しい深層学習フレームワーク「コラボレーティングネットワーク（CN）」を提案する。この手法は、合成データおよび実世界のデータセット（糖尿病患者のA1c予測を含む）において、良好にキャリブレーションされたかつ鋭い予測区間を達成し、既存の手法を上回る性能を発揮する。

ABSTRACT

Effective decision making requires understanding the uncertainty inherent in a prediction. In regression, this uncertainty can be estimated by a variety of methods; however, many of these methods are laborious to tune, generate overconfident uncertainty intervals, or lack sharpness (give imprecise intervals). We address these challenges by proposing a novel method to capture predictive distributions in regression by defining two neural networks with two distinct loss functions. Specifically, one network approximates the cumulative distribution function, and the second network approximates its inverse. We refer to this method as Collaborating Networks (CN). Theoretical analysis demonstrates that a fixed point of the optimization is at the idealized solution, and that the method is asymptotically consistent to the ground truth distribution. Empirically, learning is straightforward and robust. We benchmark CN against several common approaches on two synthetic and six real-world datasets, including forecasting A1c values in diabetic patients from electronic health records, where uncertainty is critical. In the synthetic data, the proposed approach essentially matches ground truth. In the real-world datasets, CN improves results on many performance metrics, including log-likelihood estimates, mean absolute errors, coverage estimates, and prediction interval widths.

研究の動機と目的

• 深層学習を用いた回帰タスクにおいて、良好にキャリブレーションされ、鋭い不確実性区間を取得する課題に対処すること。
• 過信を回避し、真の条件付き分布と一貫性を保つ手法を開発すること。
• キャリブレーションと精度の両方を同時に最適化できる、強力でトレーニング可能なフレームワークを構築すること。
• 本手法が、A1c予測（電子的健康記録からのものも含む）を含む多様なデータセット、特に複雑な実世界の応用において有効であることを示すこと。

提案手法

• フレームワークは2つのニューラルネットワークを用いる：1つは条件付きCDFを推定し、もう1つはその逆CDFを推定する。これらは協調的なペアを形成する。
• CDFネットワークは経験的分布関数に基づく損失関数で訓練され、逆CDFネットワークは別個で補完的な損失関数で訓練される。
• これらのネットワークは、GANに類似した異なる目的をもって同時に最適化され、互いの整合性を保ち、真の分布に収束する。
• 理論的分析により、最適化の固定点が真の条件付きCDFおよび逆CDFに対応することが示され、弱い正則性条件の下で漸近的整合性が保証される。
• 本手法は1次元および多次元出力分布の両方をサポートし、極座標系からデカルト座標系への変換のような複雑な変換にも対応可能である。
• 逆CDFの逆算により推定分布からのサンプリングが可能であり、片側・両側区間など多様な区間タイプやカバレッジ水準に対応可能である。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークが、条件付きCDFとその逆関数を同時に学習させることで、良好にキャリブレーションされ、鋭い不確実性区間を生成できるか？
• RQ2 コラボレーティングネットワーク手法が真の潜在分布に対して漸近的整合性を達成するか？
• RQ3 本手法は、実世界および合成データにおいて、既存の不確実性推定手法と比較して、キャリブレーション、鋭さ、および対数尤度の観点で優れた性能を示すか？
• RQ4 本フレームワークは、円形分布や多次元分布に起因するような複雑な非線形変換を伴う出力分布に対処できるか？

主な発見

• 合成データにおいて、CN手法は真のCDFに非常に近づき、真の条件付き分布の正確な回復を示した。
• 実世界のデータセット、特に電子的健康記録からのA1c予測において、CNは対数尤度、平均絶対誤差、予測区間幅の観点で優れた性能を発揮した。
• カバレッジ推定値の向上が確認され、特に高リスクの医療予測タスクにおいて、ベースラインモデルに比べてより良好なキャリブレーションを示した。
• 2次元正規分布やvon Misesに基づく円形分布を含む多様なデータ分布において、安定で強固なトレーニングを維持した。
• 実験的結果により、本手法はキャリブレーションを損なわずに区間を鋭くすることができ、不確実性推定における一般的なトレードオフを解消した。
• 理論的分析により、真のCDFと逆CDFが最適化の固定点を形成することが確認され、本手法の整合性と収束性を裏付けるものとなった。