[論文レビュー] Accurate Uncertainties for Deep Learning Using Calibrated Regression

Volodymyr Kuleshov, Nathan Fenner+1 more|arXiv (Cornell University)|Jul 1, 2018

Anomaly Detection Techniques and Applications参考文献 18被引用数 271

ひとこと要約

本論文は、回帰に対する事後再較正法を提案し、ベイズニューラルネットワークを含む任意の回帰モデルに対して較正された不確実性推定を提供し、時系列予測およびモデルベースの強化学習において較正の改善を示す。

ABSTRACT

Methods for reasoning under uncertainty are a key building block of accurate and reliable machine learning systems. Bayesian methods provide a general framework to quantify uncertainty. However, because of model misspecification and the use of approximate inference, Bayesian uncertainty estimates are often inaccurate -- for example, a 90% credible interval may not contain the true outcome 90% of the time. Here, we propose a simple procedure for calibrating any regression algorithm; when applied to Bayesian and probabilistic models, it is guaranteed to produce calibrated uncertainty estimates given enough data. Our procedure is inspired by Platt scaling and extends previous work on classification. We evaluate this approach on Bayesian linear regression, feedforward, and recurrent neural networks, and find that it consistently outputs well-calibrated credible intervals while improving performance on time series forecasting and model-based reinforcement learning tasks.

研究の動機と目的

• AIシステムにおける回帰の信頼できる不確実性定量化の必要性を動機づける。
• 未較正の予測を較正済みに変換する一般的な事後再較正手順を提案する。
• ベイズ線形回帰、フィードフォワードおよび再帰的ベイズネットに対して手法を実証し、予測および強化学習タスクへ適用する。
• 予測を評価するための較正とシャープネスの診断指針を提供する。

提案手法

• 分類から回帰へのPlatt式再較正を適用することにより、補助的な再較正モデルR:[0,1]→[0,1]を学習する。
• 基礎予測子Hと経験的確率ˆP(p)=|{t:Ft(yt)≤p}|/Tを用いて再較正データセットを構築する。
• Hの出力を較正済み確率に写像するようRを訓練する（例：単調回帰）。
• Bayesianおよび有意味予測 Ft に再較正を適用して、較正済みCDF F̃t = R∘Ft を得る。
• 適切な増加関数Fを介して非確率的な予測器を再較正できる特徴ベースの再較正を検討する。
• 較正の診断（較正プロット）とシャープネス（Ftの分散）を導入する。
• 異方性ノイズ信号と単純な特徴を活用するなど、ベイズモデルへの再較正適用に関する実用的なガイダンスを提供する。

実験結果

リサーチクエスチョン

• RQ1 任意の回帰モデルに適用可能な単純な事後再較正で、較正済みの不確実性推定を得られるか？
• RQ2 再較正は、ベイズおよび非ベイズ回帰モデルにおける較正品質と予測のシャープネスにどのような影響を与えるか？
• RQ3 較正済み予測は時系列予測およびモデルベースの強化学習タスクの性能を向上させるか？
• RQ4 どの診断ツールが最もよく較正品質と予測のシャープネスを明らかにするか？

主な発見

• 提案された再較正手法は、十分なi.i.d.データが提供されると、さまざまな回帰モデルで一貫して適切に較正された信頼区間を生み出す。
• 再較正された予測は、点予測の精度を犠牲にせず、より複雑な較正ベースラインを凌ぐこともあり、較正性が改善される。
• 較正は時系列予測やモデルベースの強化学習などの実用タスクを改善し、経験的頻度との整合性と計画性能の向上を示す。
• 単調回帰は、較正関数の単調性を尊重する頑健なノンパラメトリック再較正器として機能する。
• 較正された回帰は経験的頻度に基づく解釈可能な不確実性推定を提供し、頻度論的較正とベイズ予測の橋渡しをする。