[論文レビュー] Distribution Calibration for Regression

Hao Song, Tom Diethe+2 more|arXiv (Cornell University)|May 15, 2019

Gaussian Processes and Bayesian Inference参考文献 31被引用数 9

ひとこと要約

本稿では回帰における分布キャリブレーションを導入し、未知のベータリンク関数を用いた多出力ガウス過程を用いた後処理手法を提案する。GP-Beta手法は、多様な回帰モデルにおいて分布レベルおよび分位数レベルのキャリブレーションを両方改善し、実世界および合成データセットにおいて既存手法（等速回帰）を上回る性能を示す。

ABSTRACT

We are concerned with obtaining well-calibrated output distributions from regression models. Such distributions allow us to quantify the uncertainty that the model has regarding the predicted target value. We introduce the novel concept of distribution calibration, and demonstrate its advantages over the existing definition of quantile calibration. We further propose a post-hoc approach to improving the predictions from previously trained regression models, using multi-output Gaussian Processes with a novel Beta link function. The proposed method is experimentally verified on a set of common regression models and shows improvements for both distribution-level and quantile-level calibration.

研究の動機と目的

• 深層ニューラルネットワークなどの複雑または事前学習済みモデルにおいて、良好にキャリブレートされた不確実性推定が不足している問題に対処すること。
• 従来の分位数キャリブレーションよりも強力で、より情報量の多いキャリブレーションである分布レベルキャリブレーションを定義・形式化すること。
• ベースとなる回帰モデルの再訓練なしに不確実性推定を改善できるスケーラブルで後処理可能なキャリブレーション手法を開発すること。
• 分布キャリブレーションが自然に分位数キャリブレーションを含むこと、不確かな表現がより一貫性を持つことの証明。
• ガウス過程と新規リンク関数を用いた、条件付き密度推定を柔軟にキャリブレートする確率的フレームワークを提供すること。

提案手法

• 各入力インスタンスに対して、平均および分散のキャリブレーションパラメータを学習する多出力ガウス過程モデルを提案し、インスタンス固有のキャリブレーションを可能にする。
• モデル出力をキャリブレートされた予測分布にマップするための新規ベータリンク関数を導入し、適切な確率的制約を保証する。
• インダクションポイントを用いた確率的変分推論を採用し、大規模データセットに対しても計算効率を維持する。
• 等速回帰がグローバルなマップを用いるのに対し、実際の分位数に一致するように学習されたマップを入力ごとに変化させる、予測累積分布関数のキャリブレーションを実現する。
• 評価のための期待値推定とNLL計算のために、各インスタンスごとに4096点の台形近似を用いる。
• 1バッチあたり64個のマルコフ連鎖モンテカルロサンプルを用い、ADAMを最適化手法として採用し、75/25のデータ分割で学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 回帰における分布レベルキャリブレーションを定義・形式化できるか？ また、分位数キャリブレーションよりも優れた不確実性の定量的評価をもたらすか？
• RQ2 再訓練なしに、事前学習済み回帰モデルのキャリブレーションを後処理で改善できるか？
• RQ3 提案手法であるGP-Betaは、既存の後処理キャリブレーション手法（等速回帰など）と比較して、分布レベルおよび分位数レベルの両方のキャリブレーションで優れているか？
• RQ4 本手法は大規模データセットにスケーラブルか？ また、インダクションポイントの数が性能に与える影響は？
• RQ5 本手法は、異なるデータ分布を示す多様な回帰モデルおよび実世界データセットに対して、頑健に機能するか？

主な発見

• GP-Beta手法は、評価指標すべてにおいて一貫してキャリブレーションを改善し、特に分布キャリブレーションに最も忠実な指標であるNLLにおいて顕著な向上を示す。
• 大多数のデータセットにおいて、GP-Betaは分布レベルおよび分位数レベルの両方のキャリブレーションで等速回帰を上回り、特に局所的キャリブレーションを要する合成データで最も大きな向上が見られた。
• 8個のインダクションポイントでも強力な性能を示し、Airfoilデータセット（n=1503）では64個に増やすことで性能が向上した。これは、より多くのインダクションポイントを用いることでスケーラビリティを向上させられることを示唆する。
• Energyデータセット（n=19,735）では、等速回帰がターゲット分布のゼロ付近で急激な段階的変化を示したため、NLLが予想外に低く出た。これはグローバルキャリブレーション手法のリスクを浮き彫りにした。
• GP-Betaは、インダクションポイント数に関わらず、ほぼすべてのケースで最良のNLLを達成した。これは、本手法の頑健性と分布キャリブレーションにおける優位性を示している。
• 図2に示すように、GP-Betaはインスタンス固有のキャリブレーションマップを学習しているのに対し、等速回帰はすべての入力に同一のグローバルマップを適用する。