[論文レビュー] Distribution-free calibration guarantees for histogram binning without sample splitting

Chirag Gupta, Aaditya Ramdas|arXiv (Cornell University)|May 10, 2021

Neural Networks and Applications参考文献 26被引用数 4

ひとこと要約

この論文は、順序統計のマルコフ性を利用することで、サンプル分割を用いずにヒストグラム・ビニング（均等質量ビニング）の分布フリーなキャリブレーション保証を初めて確立した。二重にデータを用いること（同じデータをビニングと確率推定に使用すること）が、強力な理論的キャリブレーションバインディングをもたらすことを証明し、キャリブレーション性能を評価するための新規ツールとして有効性プロットを導入した。これは標準的なECE指標を上回る性能を示した。

ABSTRACT

We prove calibration guarantees for the popular histogram binning (also called uniform-mass binning) method of Zadrozny and Elkan [2001]. Histogram binning has displayed strong practical performance, but theoretical guarantees have only been shown for sample split versions that avoid 'double dipping' the data. We demonstrate that the statistical cost of sample splitting is practically significant on a credit default dataset. We then prove calibration guarantees for the original method that double dips the data, using a certain Markov property of order statistics. Based on our results, we make practical recommendations for choosing the number of bins in histogram binning. In our illustrative simulations, we propose a new tool for assessing calibration -- validity plots -- which provide more information than an ECE estimate. Code for this work will be made publicly available at https://github.com/aigen/df-posthoc-calibration.

研究の動機と目的

• サンプル分割を伴わないヒストグラム・ビニングのキャリブレーション保証における理論的ギャップを埋めるために、分布フリーな境界を証明すること。
• 特に低データ量の状況において、サンプル分割の統計的コストが実際的に顕著であることを示すこと。
• 有効性プロットを導入し、ECEのような標準的指標よりも情報量の多いキャリブレーション性能評価の代替手段とすること。
• 理論的および実験的結果に基づいて、ヒストグラム・ビニングにおけるビン数の選定に関する実用的アドバイスを提供すること。

提案手法

• 順序統計のマルコフ性を活用し、サンプル分割を伴わない均等質量ビニング（UMD）の分布フリーなキャリブレーション保証を導出する。
• 有効性プロットを導入し、予測ビン全体でキャリブレーション誤差がε以下である確率を推定することで、条件付きキャリブレーション評価を提供する。
• 予測スコアの絶対連続性を保証するUMDの確率的バージョンを採用し、理論的マージナルキャリブレーション保証を向上させる。
• 順序統計と集中不等式に依存する、データ分割を必要としない新しい理論枠組みを用いて、期待キャリブレーション誤差の境界を付与する。
• UCI信用違約データセット上で、UMDとUMS（サンプル分割バージョン）、固定幅ビニング、等化回帰、スケーリング・ビニングを有効性プロットを用いて比較する。
• シミュレーションを用いて理論的境界を検証し、推定誤差によるわずかな過小評価であっても、理論的曲線が実測性能と非常に近接していることを示した。

実験結果

リサーチクエスチョン

• RQ1 同じデータをビニングと確率推定に使用する（すなわち、サンプル分割を伴わない）ヒストグラム・ビニングに対して、分布フリーなキャリブレーション保証を確立できるか？
• RQ2 UMD（二重にデータを用いるヒストグラム・ビニング）とUMS（サンプル分割バージョン）の間で、キャリブレーション性能と統計的効率性に差は生じるか？
• RQ3 有効性プロットは、ECEのような標準的指標よりも、キャリブレーション評価においてより情報量が多いと評価できるか？
• RQ4 UMDにおけるビン数とキャリブレーション誤差の理論的関係は何か？実装にどのように活かせるか？
• RQ5 UMDの理論的キャリブレーション境界は、実世界のデータセットにおいて実測性能とよく一致するか？

主な発見

• この論文は、順序統計のマルコフ性を用いて、サンプル分割を伴わない均等質量ビニングの最初の分布フリーなキャリブレーション保証を証明した。
• 有効性プロットは、UMDが等化回帰や固定幅ビニングといった他のベースラインと比較して、条件付きキャリブレーションにおいて一貫して優れていることを明らかにした。
• n=7Kの場合、ε ≤ 0.05の範囲で、UMDはスケーリング・ビニングを上回った。理論的境界は実測性能と非常に近く、推定誤差によるわずかな過小評価にとどまった。
• UMDの理論的曲線がn=7Kで実測有効性プロットと交差しており、境界が非常にタイトであるため、5Kのテストポイントでは境界の完全な検証が不十分であることを示している。
• 結果から、特に低データ量の状況において、サンプル分割の統計的コストは無視できないことが示され、二重にデータを用いることは理論的に正当化できることがわかった。
• 提案された有効性プロットは、ECEに比べてより情報量が多く信頼性が高いキャリブレーション評価を提供しており、予測ビン全体におけるキャリブレーション誤差の分布を捉えている。