[論文レビュー] Quantile Regularization: Towards Implicit Calibration of Regression Models

Saiteja Utpala, Piyush Rai|arXiv (Cornell University)|Feb 28, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用数 5

ひとこと要約

本論文では、予測された累積分布関数（CDF）と実測の累積分布関数（CDF）の累積的KLダイバージェンスを最小化することで、回帰モデルのキャリブレーションを向上させる、新たなエンドツーエンドで訓練可能な正則化法「Quantile Regularization」を提案する。後処理手法とは異なり、追加のキャリブレーションデータを必要とせず、特に小規模データセットにおいて一貫して等方的再キャリブレーションを上回り、さまざまな回帰ベンチマークでキャリブレーション誤差を最大60％まで低減する。

ABSTRACT

Recent works have shown that most deep learning models are often poorly calibrated, i.e., they may produce overconfident predictions that are wrong. It is therefore desirable to have models that produce predictive uncertainty estimates that are reliable. Several approaches have been proposed recently to calibrate classification models. However, there is relatively little work on calibrating regression models. We present a method for calibrating regression models based on a novel quantile regularizer defined as the cumulative KL divergence between two CDFs. Unlike most of the existing approaches for calibrating regression models, which are based on post-hoc processing of the model's output and require an additional dataset, our method is trainable in an end-to-end fashion without requiring an additional dataset. The proposed regularizer can be used with any training objective for regression. We also show that post-hoc calibration methods like Isotonic Calibration sometimes compound miscalibration whereas our method provides consistently better calibrations. We provide empirical results demonstrating that the proposed quantile regularizer significantly improves calibration for regression models trained using approaches, such as Dropout VI and Deep Ensembles.

研究の動機と目的

• 回帰モデルに対して効果的で訓練可能なキャリブレーション手法が不足していること、特に過信傾向にあり、キャリブレーションが不十分であるという問題に対処すること。
• 追加のラベル付きデータを必要とせず、後処理によるキャリブレーションに依存しない、エンドツーエンドで訓練可能なキャリブレーション手法を開発すること。
• 深層学習回帰モデルにおける予測不確実性推定の信頼性を向上させること。
• 任意の回帰モデルに適用可能な汎用正則化法を提供すること。ただし、予測平均と分散を出力するものに限る。
• 後処理による再キャリブレーション手法（例：等方的回帰）が、特に小規模データセットでは状況を悪化させる可能性があることの実証。

提案手法

• 予測CDFと目的変数の実測CDFの累積的KLダイバージェンスとして定義される、新たな分位数正則化法を提案する。
• 正則化項を訓練目的関数に直接統合することで、別個のキャリブレーションデータセットを必要とせず、エンドツーエンド最適化が可能になる。
• ドロップアウト変動推論（Dropout-VI）やディープアンサンブルなどの、予測平均と分散を出力する任意の回帰モデルに適用可能である。
• 正則化法により、モデルの予測分位数が真の実測分位数と一致するよう促進され、周辺キャリブレーションが向上する。
• 理論的分析により、この正則化項を最小化することで、弱い仮定のもとで分位数キャリブレーションが達成されることを示す。
• 実験的評価では、主にキャリブレーション誤差（CE）を指標とし、等方的再キャリブレーションおよびベースラインモデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 追加のキャリブレーションデータを必要とせず、エンドツーエンドで訓練可能な正則化法が、回帰モデルのキャリブレーションを改善できるか？
• RQ2 提案された分位数正則化法が、多様な回帰タスクにおいて、等方的回帰などの後処理再キャリブレーション手法を一貫して上回るか？
• RQ3 データ不足に起因する失敗が後処理手法に見られる小規模データセットにおいて、この正則化法はどのように性能を発揮するか？
• RQ4 予測精度を低下させたり分散を増加させたりすることなく、キャリブレーションを改善できるか？
• RQ5 この正則化法は、さまざまな回帰アーキテクチャや不確実性推定手法に一般化可能か？

主な発見

• テストされた10の回帰データセットすべてにおいて、Quantile Regularizationはキャリブレーション誤差を顕著に低減し、ベースラインモデルと比較して最大60％の相対的改善を達成した。
• Air FoilおよびBoston Housingデータセットでは、等方的再キャリブレーションによりキャリブレーション誤差がそれぞれ79％および34％上昇したが、Quantile Regularizationではそれぞれ32.5％および28.1％の低下を達成した。
• Protein StructureおよびYear Prediction MSDデータセットでは、等方的再キャリブレーションにより誤差が0.09％から0.05％に低下したが、Quantile Regularizationではそれぞれ3.07％および2.41％の低誤差を維持した。
• ドロップアウト-VIやディープアンサンブルを含むさまざまなベースモデルにおいても、キャリブレーションが一貫して向上し、広範な適用可能性が示された。
• 正則化強度λを増加させると、Concrete Strength、Protein Structure、Year Prediction MSDの各データセットでキャリブレーション誤差が単調に減少し、安定した最適化が実現していることが確認された。
• 理論的に、提案された正則化法が真のキャリブレーション誤差の一貫した推定器であることが示され、収束保証が与えられた。