[論文レビュー] The Calibration Generalization Gap

A. Michael Carrell, Neil Mallinar+2 more|arXiv (Cornell University)|Oct 5, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、標準一般化理論に類似した、キャリブレーション誤差の訓練時のキャリブレーション誤差とキャリブレーション一般化ギャップへの新しい分解を導入する。実験的に、深層ニューラルネットワークは訓練データ上でほぼ常に適正にキャリブレートされている（TrainECE ≈ 0）、かつキャリブレーション一般化ギャップが標準一般化ギャップによって上界で抑えられていることが判明しており、一般化ギャップが小さいモデルは適正にキャリブレートされていることを示唆している。

ABSTRACT

Calibration is a fundamental property of a good predictive model: it requires that the model predicts correctly in proportion to its confidence. Modern neural networks, however, provide no strong guarantees on their calibration -- and can be either poorly calibrated or well-calibrated depending on the setting. It is currently unclear which factors contribute to good calibration (architecture, data augmentation, overparameterization, etc), though various claims exist in the literature. We propose a systematic way to study the calibration error: by decomposing it into (1) calibration error on the train set, and (2) the calibration generalization gap. This mirrors the fundamental decomposition of generalization. We then investigate each of these terms, and give empirical evidence that (1) DNNs are typically always calibrated on their train set, and (2) the calibration generalization gap is upper-bounded by the standard generalization gap. Taken together, this implies that models with small generalization gap (|Test Error - Train Error|) are well-calibrated. This perspective unifies many results in the literature, and suggests that interventions which reduce the generalization gap (such as adding data, using heavy augmentation, or smaller model size) also improve calibration. We thus hope our initial study lays the groundwork for a more systematic and comprehensive understanding of the relation between calibration, generalization, and optimization.

研究の動機と目的

• 異なるアーキテクチャーや設定において深層ニューラルネットワークのキャリブレーションに関する一貫性のない経験的結果を解明すること。
• DNNにおけるキャリブレーションに影響を与える要因を理解するための体系的フレームワークの欠如に対処すること。
• 標準一般化理論に類似したキャリブレーション誤差の分解を提案し、最適化（訓練集合）と一般化（テスト集合）の成分に分離すること。
• 多様なモデルアーキテクチャーやトレーニング体制における訓練およびテスト時のキャリブレーション誤差の挙動を経験的に調査すること。
• データ拡張やモデルサイズといった、キャリブレーションに関する分散した観察を一般化理論の視点から統一すること。

提案手法

• テスト時のキャリブレーション誤差を訓練時のキャリブレーション誤差（TrainECE）とキャリブレーション一般化ギャップ（|TestECE - TrainECE|）に分解する手法を提案し、標準一般化理論に類似させる。
• 訓練集合およびテスト集合におけるキャリブレーション誤差の定量的評価に、期待キャリブレーション誤差（ECE）を主な指標として用いる。
• アーキテクチャ、モデルサイズ、トレーニング期間、データ拡張、データセットサイズといった多様な設定において、TrainECEおよびキャリブレーション一般化ギャップを経験的に評価する。
• 過剰パラメータ化と不足パラメータ化のモデルを比較し、有効なパラメータ数の役割がキャリブレーションに与える影響を調査する。
• 誤差一般化ギャップとキャリブレーション一般化ギャップの関係を分析し、後者が前者によって上界で抑えられていることを示す。
• 複数のデータセットとモデルファミリーを対象とした実験を通じて、主な発見の堅牢性を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークがどのような条件下で訓練データ上で適正にキャリブレートされるのか。
• RQ2 誤差の観点から、キャリブレーション一般化ギャップは標準一般化ギャップによって上界で抑えられているか。
• RQ3 過剰パラメータ化やデータ拡張といったアーキテクチャ選択が、キャリブレーション一般化ギャップにどのように影響するか。
• RQ4 データ拡張や小さなモデルといった、標準一般化ギャップを小さくする介入が、キャリブレーションをどの程度改善するか。
• RQ5 一般化理論の視点から、DNNのキャリブレーション行動を体系的に理解できるか。

主な発見

• 交差エントロピー損失で訓練された深層ニューラルネットワークは、多様なアーキテクチャ、モデルサイズ、トレーニング段階において、訓練集合上で経験的に適正にキャリブレートされており、TrainECE ≈ 0 である。これは、訓練誤差が高くても同様に成り立つ。
• キャリブレーション一般化ギャップ（|TestECE - TrainECE|）は、トレーニング全期間にわたり、標準一般化ギャップ（|TestError - TrainError|）によって経験的に上界で抑えられている。
• 過剰パラメータ化モデルでは、トレーニング中にキャリブレーション一般化ギャップが増大し、テスト誤差の増加と相関している。一方、不足パラメータ化モデルは低キャリブレーション誤差とギャップを維持する。
• キャリブレーション一般化ギャップはトレーニングの初期段階で現れ、安定したまま保たれ、過剰パラメータ化モデルと不足パラメータ化モデルの間でテストECEに顕著な乖離が生じる。
• 誤差一般化ギャップとキャリブレーション一般化ギャップの間には線形関係が成立し、多様なアーキテクチャーやトレーニングバッチで同様に成り立つ。
• 標準一般化ギャップを小さくする介入（例：データ拡張、データ量の増加、小さなモデルサイズ）は、キャリブレーションを改善すると予想され、これまで分散していた観察を統一的に説明できる。