[論文レビュー] Accurate Prediction and Uncertainty Estimation using Decoupled Prediction Interval Networks

Kinjal Patel, Steven L. Waslander|arXiv (Cornell University)|Feb 19, 2022

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、予測区間（PI）のための独自の分布フリー損失関数を用いて、予測精度と不確実性推定を別々に最適化する2段階のディーブラーニングフレームワーク、分離予測区間ネットワーク（DPIN）を提案する。予測の平均（MSE損失を用いて）とPI推定（カバレッジに配慮した損失を用いて）を分離することで、9つのUCIデータセットの7つで95％の予測区間カバレッジ確率（PICP）を維持しながら、RMSEが23–34％低減され、最先端手法と比較してアクティブラーニングの誤差が17–36％低減される。

ABSTRACT

We propose a network architecture capable of reliably estimating uncertainty of regression based predictions without sacrificing accuracy. The current state-of-the-art uncertainty algorithms either fall short of achieving prediction accuracy comparable to the mean square error optimization or underestimate the variance of network predictions. We propose a decoupled network architecture that is capable of accomplishing both at the same time. We achieve this by breaking down the learning of prediction and prediction interval (PI) estimations into a two-stage training process. We use a custom loss function for learning a PI range around optimized mean estimation with a desired coverage of a proportion of the target labels within the PI range. We compare the proposed method with current state-of-the-art uncertainty quantification algorithms on synthetic datasets and UCI benchmarks, reducing the error in the predictions by 23 to 34% while maintaining 95% Prediction Interval Coverage Probability (PICP) for 7 out of 9 UCI benchmark datasets. We also examine the quality of our predictive uncertainty by evaluating on Active Learning and demonstrating 17 to 36% error reduction on UCI benchmarks.

研究の動機と目的

• ディープ回帰モデルにおける予測精度と信頼性のある不確実性推定のトレードオフを解消すること。
• 精度を犠牲にしたり分散を過小評価したりする既存の不確実性評価手法の限界を克服すること。
• ガウスノイズの仮定をせず、所望のカバレッジ確率（例：95％）を保証する分布フリーな予測区間学習手法を開発すること。
• 標準的なUCI回帰ベンチマークおよびアクティブラーニング設定での手法の性能を評価すること。
• 分離学習が予測精度と不確実性キャリブレーションの両方を同時に最適化可能であることを示すこと。

提案手法

• 本手法は2段階の訓練プロセスを用いる：まず、予測精度を最適化するために平均二乗誤差（MSE）損失を用いてメインネットワークを訓練する。
• 次に、予測平均の周囲の予測区間（PI）を推定するための別個の分離ネットワークを、カスタム損失関数を用いて訓練する。
• カスタム損失関数は、PIの幅を最小化するとともに、真のラベルが予測区間内に入る割合が所望のカバレッジ確率（例：95％）に一致するように制約を課す。
• PI推定の損失関数は分布フリーに設計されており、データノイズの分布に関する仮定を避けており、真の予測値を基準点として明示的に組み込んでいる。
• フレームワークは1段階目で最適化された平均予測を維持し、2段階目ではPIヘッドのみをファインチューニングすることで、精度の低下を防ぐ。
• 本手法は合成データおよび9つのUCI回帰データセット（不確実性に基づく反復的データ取得を伴うアクティブラーニング実験を含む）で評価されている。

実験結果

リサーチクエスチョン

• RQ1 分離学習アプローチは、ディープ回帰における最先端の予測精度と信頼性のある不確実性推定を同時に達成できるか？
• RQ2 予測区間のための分布フリー損失関数は、PI幅を最小化しつつ95％のカバレッジ確率を維持する観点で、既存手法を上回る性能を示すか？
• RQ3 標準ベンチマークにおいて、本手法は予測精度と対数尤度（log-likelihood）の観点で最先端の不確実性評価技術と比較してどのように差をつけるか？
• RQ4 不確実性推定の質が、アクティブラーニングのシナリオでの性能にどの程度向上効果をもたらすか？
• RQ5 分離アーキテクチャは、エンドツーエンドモデルで観察される精度とキャリブレーションのトレードオフを軽減できるか？

主な発見

• DPINは、UCI回帰データセットの9つ中7つで、最先端手法と比較してRMSEが23–34％低減され、95％の予測区間カバレッジ確率（PICP）を維持している。
• Energyデータセットでは、現在の最先端手法と比較して対数尤度（LL）が41–67％向上し、より良い確率的キャリブレーションを示している。
• アクティブラーニングでは、MC-Dropout、DeepEns、Split-Trainと比較して、複数のデータセットでテストRMSE誤差が17–36％低減された。
• Energyデータセットでは、他の手法と比較してPI幅が53–80％低減されたが、95％のPICPを維持している。
• 2段階の分離学習プロセスにより、不確実性キャリブレーションに影響を与えることなく顕著な精度向上が達成され、予測と不確実性を同時に最適化するモデルを上回っている。
• 提案された分布フリーなPI損失関数は、ガウスノイズの仮定をせず、アレアトロピック不確実性を適切に捉えており、非対称ノイズを含むデータセットでも耐性が向上している。