[論文レビュー] Exploring Uncertainty in Deep Learning for Construction of Prediction Intervals

Yuandu Lai, Yucheng Shi+4 more|arXiv (Cornell University)|Apr 27, 2021

Machine Learning and Data Classification参考文献 56被引用数 7

ひとこと要約

本稿では、回帰の監視のみを要する、新しい微分可能損失関数を用いた深層学習手法を提案する。この手法は、アレアトリックな不確実性とエピステム的不確実性を同時に推定することで、予測区間を構築する。損失関数を通じてデータの不確実性を暗黙的に学習し、アンサンブル手法によってエピステム的不確実性をモデル化する。UCI回帰データセットにおいて、より狭く、かつキャリブレーションのとれた区間を達成し、最先端の性能を発揮する。

ABSTRACT

Deep learning has achieved impressive performance on many tasks in recent years. However, it has been found that it is still not enough for deep neural networks to provide only point estimates. For high-risk tasks, we need to assess the reliability of the model predictions. This requires us to quantify the uncertainty of model prediction and construct prediction intervals. In this paper, We explore the uncertainty in deep learning to construct the prediction intervals. In general, We comprehensively consider two categories of uncertainties: aleatory uncertainty and epistemic uncertainty. We design a special loss function, which enables us to learn uncertainty without uncertainty label. We only need to supervise the learning of regression task. We learn the aleatory uncertainty implicitly from the loss function. And that epistemic uncertainty is accounted for in ensembled form. Our method correlates the construction of prediction intervals with the uncertainty estimation. Impressive results on some publicly available datasets show that the performance of our method is competitive with other state-of-the-art methods.

研究の動機と目的

• 自動運転や医療診断などの高リスクな深層学習応用分野における不確実性の定量化の重要なニーズに対処すること。
• 明示的な不確実性ラベルを必要とせず、アレアトリック不確実性とエピステム的不確実性の両方を反映する信頼性のある予測区間を構築すること。
• 出力層と損失関数をわずかに変更するだけで、標準的な深層学習フレームワークと互換性を持つ訓練手法を開発すること。
• 制御されたカバレッジと幅を持つ区間推定を提供することで、モデルのキャリブレーションと不確実性を考慮した意思決定を可能にすること。
• 標準的な予測区間品質評価指標を用いて、実世界の回帰データセットにおける本手法の性能を評価すること。

提案手法

• 修正された深層ニューラルネットワークが、点推定の代わりに予測区間（下限と上限）を出力する。最終層は区間の両端を表す2つの出力を生成する。
• 確率論的理論に基づいて導出された、新しい微分可能損失関数を用い、不確実性ラベルを必要とせず、回帰損失からアレアトリック不確実性を暗黙的に学習する。
• エピステム的不確実性はアンサンブル法によりモデル化され、複数のネットワークを訓練し、その予測値を統合することで、データが少ない領域における不確実性を反映する。
• 損失関数には、予測区間カバレッジ（PICP）と幅（MPIW）のバランスを取るためのハイパーパrameter λ が組み込まれており、信頼性と精度のトレードオフを制御可能である。
• 標準的な深層学習最適化と互換性があり、バックプロパゲーションを用いたエンドツーエンド学習が可能で、回帰の監視のみを要する。
• 本手法は、PICP と MPIW を評価指標として用い、9つのUCI回帰データセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 明示的な不確実性ラベルを必要とせずに、深層学習モデルがキャリブレーションのとれた予測区間を生成できるか。
• RQ2 標準的な回帰設定において、修正された損失関数を通じてアレアトリック不確実性をどの程度暗黙的に学習できるか。
• RQ3 モデルアンサンブルは、データが少ない領域におけるエピステム的不確実性をどの程度効果的に捉えることができるか。
• RQ4 予測区間のカバレッジと幅のトレードオフは、ハイパーパrameterによって制御可能か。
• RQ5 多様な回帰タスクにおいて、本手法は最先端の手法と比較して、区間の品質と頑健性の面で優れているか。

主な発見

• 提案手法は、大多数のUCI回帰データセットで最高の平均性能を達成し、PICP値が事前に定めた95%の信頼水準に非常に近い値を示した。
• Quantile Regression (QR) より30.1%、QR-GBDT より24.1%の区間幅の短縮を達成したが、高いカバレッジを維持した。
• IntPred手法と比較して、区間幅を20.1%削減したが、カバレッジは同等であった。
• ハイパーパrameter λ は、カバレッジ（PICP）と幅（MPIW）のトレードオフを効果的に制御でき、ユーザーが望む信頼性または精度に合わせて調整可能であった。
• テストサンプルにおける予測区間の可視化により、モデルが不確実性のパターンを正しく捉えていることが確認された。特に、データが少ない領域では区間が広がり、不確実性が高くなる傾向を示した。
• 本手法はエピステム的不確実性に対して強く感受性を示し、特徴空間の低密度領域では区間幅が顕著に増加した。