[論文レビュー] Calibrated and Sharp Uncertainties in Deep Learning via Density Estimation

Volodymyr Kuleshov, Shachi Deshpande|arXiv (Cornell University)|Dec 14, 2021

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

この論文は、低次元の密度推定を用いて分布の補正を達成する、シンプルで汎用的な再補正手法を提案している。これにより、確率的予測が良好に補正され、鋭さも保証される。この手法は、予測分布の再マッピングに分位数関数回帰を用い、従来の手法を上回る補正性能を発揮しながら、分類および回帰タスクにおいて高い精度を維持する。

ABSTRACT

Accurate probabilistic predictions can be characterized by two properties -- calibration and sharpness. However, standard maximum likelihood training yields models that are poorly calibrated and thus inaccurate -- a 90% confidence interval typically does not contain the true outcome 90% of the time. This paper argues that calibration is important in practice and is easy to maintain by performing low-dimensional density estimation. We introduce a simple training procedure based on recalibration that yields calibrated models without sacrificing overall performance; unlike previous approaches, ours ensures the most general property of distribution calibration and applies to any model, including neural networks. We formally prove the correctness of our procedure assuming that we can estimate densities in low dimensions and we establish uniform convergence bounds. Our results yield empirical performance improvements on linear and deep Bayesian models and suggest that calibration should be increasingly leveraged across machine learning. We release a library that implements our methods along with a blog post here: https://shachideshpande.github.io/blog-distribution-calibration/.

研究の動機と目的

• 最大尤度推定で学習された深層学習モデルにおける不確実性の補正の欠落という広範な問題に対処すること。
• 多様なモデル（ニューラルネットワークを含む）に一般に適用可能で、シンプルかつ理論的裏付けのある分布補正を達成するための一般的な手法を開発すること。
• モデルの性能を損なうことなく、予測不確実性の補正性と鋭さを両立させること。
• 漸近的分布補正を保証するフレームワークを形式的に定式化し、実証的に検証すること。
• 分布補正が従来の考え以上に容易かつ実用的であることを示し、機械学習分野における広範な採用を促すこと。

提案手法

• 予測された分位数から観測された補正統計量へのマッピングを学習することで再補正を実行する。このマッピングは分位数関数回帰を用いる。
• F（予測分布）を条件とする密度 P(Y | F) を推定することで、予測特徴量ごとの不確実性を調整し、分布補正を実現する。
• ニューラルネットワークまたは単純な回帰器 R が予測分位数を再補正分位数にマップし、補正誤差の目的関数を最小化する。
• 低次元の密度推定が可能であると仮定し、一様収束境界を用いて理論的正しさを保証する。
• グローバル補正にとどまらず、予測毎の分散調整を可能にする点で、プラットスケーリングや等方的回帰を一般化する。
• 分類および回帰の両方をサポートし、数行のコードで実装可能であり、広く利用可能である。

実験結果

リサーチクエスチョン

• RQ1 予測性能を損なわずに、さまざまな深層学習モデルに一般に効率的に分布補正を達成できるか？
• RQ2 低次元の密度推定は、従来の分位数ベースの再補正手法に比べて、なぜより優れた補正を可能にするのか？
• RQ3 漸近的分布補正を保証する再補正手順に対して、どのような理論的保証を提供できるか？
• RQ4 複雑な変分近似よりも、シンプルでエンドツーエンドで学習可能な手法が不確実性補正で優れた性能を発揮できるか？
• RQ5 分布補正は、ベイジアンモデルおよび深層学習モデルにおける不確実性の質をどの程度向上させるか？

主な発見

• 提案手法は、プラットスケーリング、温度スケーリング、および Song ら（2019）の変分推定に基づく手法と比較して、優れた分布補正性能を達成する。
• 実験的結果は、線形モデル、ベイジアンニューラルネットワーク、畳み込みニューラルネットワークにおける分類タスクで、補正指標の一貫した向上を示している。
• 予測精度を高く維持しつつ、適切なスコアリングルールや補正曲線で測定された不確実性の質が著しく向上している。
• この手法により、より狭く信頼性の高い信用区間が得られる。例えば、90%信用区間は真の結果を約90%の確率でカバーし、ベースライン手法よりも幅が小さくなっている。
• 理論的分析により、一様収束境界が確立され、この手法が漸近的に補正誤差が消える分布補正を達成することが証明された。
• 計算的に効率的で、簡単に実装可能であり、既存のモデルに統合するには数行のコードで十分である。