[論文レビュー] Robust Calibration with Multi-domain Temperature Scaling

Yaodong Yu, Stephen Bates+2 more|arXiv (Cornell University)|Jun 6, 2022

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本稿では、多領域温度スケーリングを提案する。これは、多様なデータ分布にわたるモデルのキャリブレーションを向上させるために、ドメイン固有の温度パラメータを学習する手法である。複数のドメインにわたる非均一性を活用することで、標準的な温度スケーリングに比べ、分布内および分布外のドメインにおいて顕著に優れたキャリブレーションを達成する。3つのベンチマークデータセットで実証的な利得が確認された。

ABSTRACT

Uncertainty quantification is essential for the reliable deployment of machine learning models to high-stakes application domains. Uncertainty quantification is all the more challenging when training distribution and test distribution are different, even the distribution shifts are mild. Despite the ubiquity of distribution shifts in real-world applications, existing uncertainty quantification approaches mainly study the in-distribution setting where the train and test distributions are the same. In this paper, we develop a systematic calibration model to handle distribution shifts by leveraging data from multiple domains. Our proposed method -- multi-domain temperature scaling -- uses the heterogeneity in the domains to improve calibration robustness under distribution shift. Through experiments on three benchmark data sets, we find our proposed method outperforms existing methods as measured on both in-distribution and out-of-distribution test sets.

研究の動機と目的

• 訓練データの分布とは異なるテストデータの分布におけるモデルキャリブレーションの重要な課題に対処すること。
• 既存のキャリブレーション手法（例：温度スケーリング）が、集約されたデータでは良好な性能を示すが、個々の分布外ドメインには適用できないことの認識。
• 観察されたすべてのドメインにおいて信頼性の高い不確実性推定を保証するとともに、未観測ドメインへの一般化を可能にする体系的なキャリブレーションフレームワークの開発。
• 複数の異なるデータ分布を持つドメインで訓練されたモデルにおいて、頑健なキャリブレーションが可能かどうかの理論的および実証的検討。

提案手法

• 入力ごとにドメイン固有の温度パラメータを学習する単一温度スケーリングの一般化である多領域温度スケーリングを提案。
• 入力特徴から温度値をマッピングするためのニューラルネットワークまたは関数近似器を用い、ドメインごとの適応的キャリブレーションを可能にする。
• すべてのドメインの検証データを用いてキャリブレーションヘッドを訓練し、ドメイン全体にわたる期待キャリブレーション誤差（ECE）を最小化する。
• この手法は、分布内ドメインの混合分布を暗黙的に学習し、未観測の分布外ドメインへの一般化を推定するための代理として機能する。
• H-発散と擬似次元を用いた理論的分析により、分布内ドメインで良好な性能を示せば、未観測ドメインへの一般化も期待できることが示される。
• H-発散を最小化するようにドメイン混合重みαを最適化することで、分布外ドメインに対する頑健性が向上する。

実験結果

リサーチクエスチョン

• RQ1 多領域データ構造を活用することで、分布シフト下のモデルキャリブレーションを改善できるか？
• RQ2 観察済みのすべてのドメインにおけるキャリブレーションを要請することで、未観測ドメインへの一般化が向上するか？
• RQ3 多領域キャリブレーションが分布シフトに対して頑健性を向上させる理論的根拠はあるか？
• RQ4 多領域温度スケーリングは、分布内および分布外データの両方において、標準温度スケーリングと比較してキャリブレーション誤差がどのように異なるか？
• RQ5 H-発散フレームワーク下で、分布内ドメインの混合が、分布外ドメインへの一般化の代理として機能できるか？

主な発見

• 多領域温度スケーリングは、3つのベンチマークデータセットすべてにおいて、分布内および分布外のテストセットで標準温度スケーリングを顕著に上回る性能を示した。
• ImageNet-Cでは、集約データに対する温度スケーリングとは異なり、個々の汚染ドメインにおいて顕著に低い期待キャリブレーション誤差（ECE）を達成した。
• 未観測ドメインに対しても、信頼性の高い自信推定を維持しており、分布シフト下での一般化が向上していることを示唆している。
• 理論的分析により、すべての分布内ドメインでモデルが良好にキャリブレートされており、かつ混合分布がH-発散において分布外分布に近い場合、未観測ドメインへの一般化が期待できることが示された。
• 実証的結果により、平均的な性能ではなく、各ドメインで良好な性能を発揮するように訓練することで、キャリブレーションの頑健性が向上することが確認された。
• 提案手法は、分布内と分布外のキャリブレーションのギャップを縮小し、従来のアプローチの主要な限界を是正した。