[論文レビュー] High-Quality Prediction Intervals for Deep Learning: A Distribution-Free, Ensembled Approach

Tim Pearce, Mohamed Zaki+2 more|arXiv (Cornell University)|Feb 20, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用数 150

ひとこと要約

分布に依存しない損失関数（Quality-Driven, HQ）を導入し、回帰の予測区間（PI）を狭くする。QD-Ens は ten benchmarks で最先端の MVE-Ens より PI 品質を改善する。

ABSTRACT

This paper considers the generation of prediction intervals (PIs) by neural networks for quantifying uncertainty in regression tasks. It is axiomatic that high-quality PIs should be as narrow as possible, whilst capturing a specified portion of data. We derive a loss function directly from this axiom that requires no distributional assumption. We show how its form derives from a likelihood principle, that it can be used with gradient descent, and that model uncertainty is accounted for in ensembled form. Benchmark experiments show the method outperforms current state-of-the-art uncertainty quantification methods, reducing average PI width by over 10%.

研究の動機と目的

• 回帰の不確実性を高品質な予測区間で定量化する。
• HQ原理に沿った分布に依存しないPI出力用の損失関数を開発する。
• アンサンブルを通じてモデル不確実性を組み込み、最先端の不確実性推定手法と比較する。

提案手法

• HQ原理からLossQDを導出し、固定カバレッジ（1-α）下でPI幅を最小化する。
• 失敗データ点の幅の縮小を避けるために捕捉MPIW（MPIWcapt）を使用する。
• PIカバレッジにベルヌーイ尤度を採用し、PICP < (1−α) のときカバレッジを強制する一側の損失項を適用する。
• 勾配降下トレーニングを可能にする微分可能な（ソフト）版 LossQD-soft を提示する。
• LossQD-soft を用いてPIをキャプチャするニューラルネットワークのアンサンブルを訓練し、最終的なPIを形成するためにアンサンブル境界を組み合わせる。
• MVE-Ens に対して ten open datasets をベンチマークし、PI品質指標として PICP と MPIW を報告する。

実験結果

リサーチクエスチョン

• RQ1 分布に依存しない損失をどのように構築して、ニューラルネットワークで指定されたカバレッジを持つ狭いPIを得ることができるか？
• RQ2 PI推定におけるモデル不確実性をニューラルネットワークのアンサンブルで効果的に捉えられるか？
• RQ3 HQベースの提案損失は、ベンチマークデータセットでPIの幅とカバレッジの点でLUBEおよびMVEと比較してどうか？

主な発見

• QD-Ens は ten データセット全体で PI 品質指標を上回り、PICP は 0.95 に近づき、MPIW は平均で約11.6%狭くなった。
• HQ損失は、ガウスノイズを仮定せず、ソフト近似を用いた勾配降下でも競争力を保つ、頑健な分布に依存しないアプローチをもたらす。
• PI幅を縮小しつつカバレッジを維持または改善することで、分布仮定を必要とせずに不確実性の定量化が効果的であることを示す。
• アンサンブリングはモデル不確実性を推定する実用的なメカニズムを提供し、メンバー予測から形成されたアンサンブル上限/下限PI境界を用いる。
• 学習上の考慮点として LossQD-soft は勾配ベースの最適化を可能にし、低い学習率とより多いエポックが MVE-Ens と比較して安定性を向上させることを示す。
• MVE-Ens の出力をPIに変換して公正なPI基準評価を行う際、MVE-Ens との比較は好ましいことを報告する。