[論文レビュー] A review of predictive uncertainty estimation with machine learning

Hristos Tyralis, Georgia Papacharalampous|arXiv (Cornell University)|Sep 17, 2022

Gaussian Processes and Bayesian Inference参考文献 458被引用数 7

ひとこと要約

この論文は、統計的モデルから現代のディープラーニング手法に至るまで、予測不確実性推定のための機械学習手法について包括的なレビューを提供している。確率的予測の技術を統合し、評価のための適切なスコアルールを評価し、機械学習応用における不確実性の定量化に関する主な課題と研究方向性を特定している。

ABSTRACT

Predictions and forecasts of machine learning models should take the form of probability distributions, aiming to increase the quantity of information communicated to end users. Although applications of probabilistic prediction and forecasting with machine learning models in academia and industry are becoming more frequent, related concepts and methods have not been formalized and structured under a holistic view of the entire field. Here, we review the topic of predictive uncertainty estimation with machine learning algorithms, as well as the related metrics (consistent scoring functions and proper scoring rules) for assessing probabilistic predictions. The review covers a time period spanning from the introduction of early statistical (linear regression and time series models, based on Bayesian statistics or quantile regression) to recent machine learning algorithms (including generalized additive models for location, scale and shape, random forests, boosting and deep learning algorithms) that are more flexible by nature. The review of the progress in the field, expedites our understanding on how to develop new algorithms tailored to users' needs, since the latest advancements are based on some fundamental concepts applied to more complex algorithms. We conclude by classifying the material and discussing challenges that are becoming a hot topic of research.

研究の動機と目的

• 機械学習における予測不確実性推定に関する研究の蓄積を統合・構造化すること。
• 確率的予測の評価に適した適切なスコアルールおよび一貫性のあるスコア関数の形式的使用を明確化すること。
• 不確実性定量化の理論的基盤と実用的応用の間のギャップを埋めること。
• 複雑で現実世界の機械学習システムにおける不確信推定に関する未解決の課題と今後の研究方向性を特定すること。

提案手法

• 古典的統計モデル（例：線形回帰、時系列）から現代の機械学習アルゴリズム（例：ランダムフォレスト、勾配ブースティング、ディープラーニング）に至るまでの予測不確実性手法の体系的レビュー。
• 予測分布のモデリングに柔軟なフレームワークとしての一般化加法モデル（GAMLSS）の統合。
• 対象的な確率的予測の評価に用いられる適切なスコアルール（例：対数スコア、ブライアスコア、連続ランク確率スコア）の適用。
• アンサンブルモデルおよびディープラーニングモデルにおける不確実性推定技術の分析、特にモンテカルロドロップアウトとベイジアンニューラルネットワークを含む。
• 各手法の背後にある仮定、計算複雑性、および異なる応用分野における適性に基づく手法の分類。
• パラメトリックな手法から非パラメトリックおよびディープラーニングベースの不確実性推定への方法論的トレンドと進化の統合。

実験結果

リサーチクエスチョン

• RQ1 さまざまなデータタイプと構造において、異なる機械学習モデルはどのように予測不確実性を推定・表現しているか？
• RQ2 機械学習における確率的予測の品質を評価するための最も効果的な適切なスコアルールは何か？
• RQ3 古典的統計における不確実性推定技術と、現代のディープラーニングおよびアンサンブルモデルの技術はどのように比較できるか？
• RQ4 現在の予測不確実性推定アプローチにおける主な制限要因と未解決の課題は何か？
• RQ5 実世界の応用におけるエンドユーザーの特定のニーズに合わせて不確実性推定をどのようにカスタマイズできるか？

主な発見

• 不確実性推定を含む確率的予測は、点予測よりも豊かな情報を提供するため、意思決定を著しく改善する。
• 連続ランク確率スコア（CRPS）や対数スコアなどの適切なスコアルールは、予測分布の評価に効果的かつ広く適用可能な指標である。
• ドロップアウトを用いたモンテカルロ法やアンサンブル平均化を活用することで、深層ニューラルネットワークや勾配ブースティングツリーなどの現代の機械学習モデルは、信頼性のある不確実性推定を実現できる。
• 複雑なモデルへの不確実性推定の統合は徐々に可能になっているが、キャリブレーション、計算コスト、解釈可能性の面で課題が残っている。
• 多様な応用分野において不確実性推定手法を比較できる標準化された評価プロトコルおよびベンチマークフレームワークの構築が急務である。
• 本レビューでは、少数のサンプル学習や類似する学習における不確実性定量化、および不確実性がモデルの解釈可能性と耐障害性に果たす役割といった、新たなトレンドを特定している。