[論文レビュー] Meta-Calibration: Learning of Model Calibration Using Differentiable Expected Calibration Error

Ondrej Bohdal, Yongxin Yang+1 more|arXiv (Cornell University)|Jun 17, 2021

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、勾配ベース最適化によるモデルハイパーパramータ最適化を可能にする、微分可能な期待キャリブレーション誤差（DECE）のサーローとしての新しいフレームワーク、Meta-Calibrationを提案する。検証セット上で非一様ラベルスムージングなどのハイパーパramータをメタラーニングすることにより、最小限の精度低下で最先端のキャリブレーション性能を達成し、シミュレートされたデータではオラクル水準のキャリブレーションを再現する。

ABSTRACT

Calibration of neural networks is a topical problem that is becoming more and more important as neural networks increasingly underpin real-world applications. The problem is especially noticeable when using modern neural networks, for which there is a significant difference between the confidence of the model and the probability of correct prediction. Various strategies have been proposed to improve calibration, yet accurate calibration remains challenging. We propose a novel framework with two contributions: introducing a new differentiable surrogate for expected calibration error (DECE) that allows calibration quality to be directly optimised, and a meta-learning framework that uses DECE to optimise for validation set calibration with respect to model hyper-parameters. The results show that we achieve competitive performance with existing calibration approaches. Our framework opens up a new avenue and toolset for tackling calibration, which we believe will inspire further work on this important challenge.

研究の動機と目的

• 現代のニューラルネットワークにおける不良なキャリブレーションの課題に取り組むこと。特に分布シフト下での性能を向上させること。
• 期待キャリブレーション誤差（ECE）の非微分性が直接最適化を困難にしている問題を克服すること。
• 訓練データのキャリブレーションに過剰適合を避けるために、検証セットにおけるキャリブレーションを最適化するメタラーニングフレームワークを構築すること。
• 標準ECEに非常に近い近似を提供するサーロー指標（DECE）を用いて、エンドツーエンドの微分可能最適化によるキャリブレーション最適化を可能にすること。
• ベンチマーク全体にわたり、メタラーニングされたラベルスムージングおよび正則化ハイパーパramータが良好にキャリブレートされたモデルを生成することを実証すること。

提案手法

• 期待キャリブレーション誤差（ECE）の微分可能な近似であるDECEを導入し、勾配ベースの最適化を可能にする。
• モデルハイパーパramータを、別個の検証セット上でDECEを最小化するように最適化するメタラーニングフレームワークを設計する。
• ラベルスムージングを学習可能な非一様ハイパーパラメータとして扱い、クラスごと・予測ごとのキャリブレーションを調整可能にする。
• 二段階最適化の設定を採用：内側のループでは、与えられたハイパーパラメータで訓練データ上でモデルを学習する。外側のループでは、検証セットのECEに基づきDECEを用いてハイパーパラメータを更新する。
• DECEをメタ目的関数として用い、ラベルスムージングおよびL2正則化ハイパーパラメータの最適化にフレームワークを適用する。
• 暗黙の微分とメタ最適化プロセス全体にわたるバックプロパゲーションを活用し、連続的ハイパーパラメータにスケーラブルな対応を実現する。

実験結果

リサーチクエスチョン

• RQ1 元の非微分可能なECE指標を正確に反映する、微分可能なECEのサーローを構築できるか？
• RQ2 DECEを用いたメタラーニングが、検証セットへのキャリブレーションの一般化を向上させるために、モデルハイパーパラメータを効果的に最適化できるか？
• RQ3 メタラーニングされた非一様ラベルスムージングは、標準ラベルスムージングや交差エントロピー学習に比べ、キャリブレーションと精度の両面で優れているか？
• RQ4 提案されたフレームワークは、合成データ上での理論的最適（オラクル）に近いキャリブレーション性能を達成できるか？
• RQ5 訓練時のECEは改善するが検証時のECEは悪化するというキャリブレーション一般化ギャップは、メタラーニングアプローチによって効果的に是正できるか？

主な発見

• Meta-Calibrationは、シミュレートされたデータでECE 1.40% ± 0.19を達成し、サンプリングノイズを除けばオラクルECE（0.00%）に非常に近い。一方、交差エントロピーと標準ラベルスムージングは顕著に高いECE（9.81%および3.61%）を示す。
• 本手法は、オラクル（87.55% ± 1.81 vs. 87.62% ± 1.87）と同等のテスト精度を維持しており、強力なキャリブレーション向上にもかかわらず、顕著な精度低下がないことが示された。
• 予測確率の可視化により、Meta-Calibrationとオラクルは、決定境界付近で類似した良好なキャリブレーション行動を示す一方、標準的な交差エントロピーとラベルスムージングとは対照的である。
• 図1に示すように、フレームワークはキャリブレーション一般化ギャップを効果的に是正した。訓練時のECEが低下する一方で検証時のECEが上昇する傾向が顕著で、これに対してメタ最適化の必要性が強調される。
• DECEは、ECEの高品質な微分可能近似を提供し、キャリブレーションのためのハイパーパラメータ最適化に有効な勾配ベース最適化を可能にする。
• 本アプローチは汎用的かつ拡張可能であり、温度スケーリングや損失重み付けなどの他のハイパーパラメータにも適用可能であり、後処理的およびインダクティブなキャリブレーション戦略を統合する可能性を秘めている。