[論文レビュー] Testing whether a Learning Procedure is Calibrated

Jon Cockayne, Matthew M. Graham+3 more|ePrints Soton (University of Southampton)|Dec 23, 2020

Gaussian Processes and Bayesian Inference参考文献 55被引用数 4

ひとこと要約

本稿では、ベイズ推論やロバストベイズ推論などの学習手順が、真のパラメータがその出力分布からの妥当な標本であることを意味する「キャリブレーション」かどうかをテストする一般化されたフレームワークを提案する。予測積分変換（PIT）を用いたシミュレーションベースの仮説検定とコルモゴロフ–スミルノフ（KS）検定により、強いキャリブレーションと弱いキャリブレーションを評価し、モデル不適合下でも分数乗後真（fractional posterior）がキャリブレーションを改善することを示している。

ABSTRACT

A learning procedure takes as input a dataset and performs inference for the parameters $θ$ of a model that is assumed to have given rise to the dataset. Here we consider learning procedures whose output is a probability distribution, representing uncertainty about $θ$ after seeing the dataset. Bayesian inference is a prime example of such a procedure, but one can also construct other learning procedures that return distributional output. This paper studies conditions for a learning procedure to be considered calibrated, in the sense that the true data-generating parameters are plausible as samples from its distributional output. A learning procedure whose inferences and predictions are systematically over- or under-confident will fail to be calibrated. On the other hand, a learning procedure that is calibrated need not be statistically efficient. A hypothesis-testing framework is developed in order to assess, using simulation, whether a learning procedure is calibrated. Several vignettes are presented to illustrate different aspects of the framework.

研究の動機と目的

• 学習手順がパラメータの確率分布を出力する場合に、その「キャリブレーション」の概念を定義・形式化すること。
• ベイズ推論を超える任意の学習手順に一般に適用可能な数学的に明確なキャリブレーションの定義が不足している問題に対処すること。
• キャリブレーションを評価するための実用的で、シミュレーションに基づく仮説検定フレームワークを構築すること。
• 強いキャリブレーションと弱いキャリブレーションを区別し、両者を厳密な評価とよりアクセス可能なテストの両方を可能にすること。
• モデル不適合下において、ベイズ的手法、変分ベイズ、ロバストベイズ法を含む多様な学習手順に対して、このフレームワークを適用して検証すること。

提案手法

• データからパラメータの後真分布への可測写像として学習手順を形式化し、やや弱い正則性条件を仮定する。
• 強いキャリブレーションを、真のパラメータの予測積分変換（PIT）が[0,1]上で一様分布に従うという条件として定義する。
• 弱いキャリブレーションを、繰り返しサンプリング下でPIT分布が確率的に一様分布と等しいという条件として定義する。
• コルモゴロフ–スミルノフ（KS）検定を用いて、PITが一様分布に従うという帰無仮説を検証し、キャリブレーションの統計的検定を可能にする。
• 既知のデータ生成モデル（不適合した尤度関数を含む）に基づくシミュレーテッドデータを用い、さまざまな学習手順のキャリブレーションをテストする。
• モンテカルロサンプリングを用いてPIT分布を推定し、キャリブレーション評価のための検定統計量を計算する。

実験結果

リサーチクエスチョン

• RQ1 パラメータの確率分布を出力する学習手順に対して、一般化され、数学的に厳密なキャリブレーションの定義とは何か？
• RQ2 後真分布が計算不能であるか、モデルが不適合している場合でも、実務的に学習手順がキャリブレーションされているかどうかをどのようにテストできるか？
• RQ3 分数乗後真や変分ベイズなどの代替学習手順は、標準ベイズ推論に比べて、キャリブレーションをどの程度改善するか？
• RQ4 提案されたフレームワークは、モデル不適合下で学習手順の過信（overconfidence）やキャリブレーションの不適合を検出できるか？
• RQ5 強いキャリブレーションと弱いキャリブレーションは、実務的意味と検定可能性においてどのように異なるか？

主な発見

• 尤度不適合下で、指数 $ t = 0.1, 0.2, 0.3 $ の分数乗後真法は、PIT分布がより一様に近くなることから、標準ベイズ推論よりもキャリブレーションが改善されていることが示された。
• モデル不適合下で、標準ベイズ推論に対してPITのKS検定は、強いキャリブレーションの帰無仮説を有意に棄却した。これはキャリブレーションの不適合を示している。
• 分数乗後真法では、PITがより一様に分布し、KS検定のp値も高くなった。特に $ t = 0.1 $ で、より良いキャリブレーションが得られた。
• このフレームワークは、後真予測チェックが許容範囲内に見える場合でも、標準ベイズ推論における過信を、PITの一様性からの顕著な逸脱によって検出できた。
• 弱いキャリブレーションは強いキャリブレーションよりも容易に検定可能であり、このフレームワークは正確な後真計算を必要としないキャリブレーション評価の実用的手段を提供する。
• 結果から、キャリブレーションは統計的効率性や予測性能とは別に評価すべき、独立かつ重要な望ましい性質であることが示唆された。