[論文レビュー] Better Uncertainty Calibration via Proper Scores for Classification and Beyond

Sebastian Gruber, Florian Buettner|arXiv (Cornell University)|Mar 15, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本論文は、補正スコアに基づく適切な補正誤差のフレームワークを提案し、補正指標と適切なスコアルールを結びつけることで、ディープラーニングにおける不確実性の補正改善の整合的かつ信頼性の高い推定を可能にする。適切なスコアを活用することで、特にデータが少ない状況において従来の推定器のバイアスと不一致を克服し、補正の適用範囲を分類を越えて回帰やその他のタスクへと拡張し、より高いロバストネスと正確性を実現する。

ABSTRACT

With model trustworthiness being crucial for sensitive real-world applications, practitioners are putting more and more focus on improving the uncertainty calibration of deep neural networks. Calibration errors are designed to quantify the reliability of probabilistic predictions but their estimators are usually biased and inconsistent. In this work, we introduce the framework of proper calibration errors, which relates every calibration error to a proper score and provides a respective upper bound with optimal estimation properties. This relationship can be used to reliably quantify the model calibration improvement. We theoretically and empirically demonstrate the shortcomings of commonly used estimators compared to our approach. Due to the wide applicability of proper scores, this gives a natural extension of recalibration beyond classification.

研究の動機と目的

• 医療診断や気象予測などのハイリスクな応用分野における信頼性の高い不確実性の補正の必要性に対応する。
• 特にテストデータが少ない場合に顕著なバイアスと不一致を示す、既存の補正誤差推定器の根本的な欠陥を特定する。
• 補正誤差と適切なスコアルールを結びつける統一的なフレームワークを構築し、理論的保証と改善された推定特性を確保する。
• 適切なスコアルールフレームワークを用いて、分類を越えて回帰やその他の確率的予測タスクへ補正を拡張する。
• 特に医療や科学的応用で一般的に見られるデータが少ない状況でも、補正改善の定量的評価が可能で、ロバストで一貫性があり信頼性の高い手法を提供する。

提案手法

• 適切な補正誤差の概念を導入し、各補正誤差が適切なスコアルールと正式に結びつくようにすることで、理論的整合性と最適な推定特性を保証する。
• DSS（スコア用の発散スコア）などの適切なスコアを基盤とし、正しいモデル仮定のもとで一貫性がありバイアスのない補正誤差を定義する。
• 単射的補正手法（例：プラットスケーリング）を適用し、関連する適切なスコアを最適化することが、対応する補正誤差を最小化することに等しいことを示す。
• DSS や SKCE（球面スコア）などの適切なスコアが、分類および回帰の両設定において不確実性の補正を評価・改善するために使用可能であることを実証する。
• 混合密度ネットワークを用いて回帰における分散予測を行うなど、多様なデータセット（CIFAR-10, CIFAR-100, ImageNet, UCI Residential, Friedman 1）に対してフレームワークを実装・検証する。
• リサンプリングと複数のランダムシードを用いて、テストデータサイズの変動にわたる推定の安定性とロバストネスを評価し、適切なスコアに基づく推定器の優位性を強調する。

実験結果

リサーチクエスチョン

• RQ1 なぜ一般的に用いられる補正誤差推定器（例：ECE や KDE CE）は、特にデータが少ない状況でバイアスと不一致を示すのか？
• RQ2 不確実性の定量化において、一貫性と最適な推定特性を保証するように、補正誤差をどのように再定義できるか？
• RQ3 適切なスコアルールは、分類を越えてどの程度、ロバストで一般化可能な補正誤差を定義するために利用可能か？
• RQ4 提案されたフレームワークは、分類および回帰タスクにおける補正改善の推定をどの程度向上させるか？
• RQ5 テストデータサイズが小さい状況でも、適切なスコアに基づく補正指標は、不確実性の補正改善を信頼性高く検出・定量できるか？

主な発見

• ECE や KDE CE などの一般的な補正推定器は、特にテストデータが少ない場合に顕著なバイアスと不一致を示し、補正改善の過大または過小評価を引き起こす。
• 適切なスコアルールに基づく本研究の適切な補正誤差フレームワークは、データが限られた状況でも補正改善の推定が一貫的かつ信頼性があることを保証する。
• DSS（スコア用発散スコア）は、分類および回帰の両方において補正効果を一貫して捉えるが、SKCE は分散関連の改善を反映せず、不安定に振る舞う。
• 変動する予測分散を伴う回帰タスク（例：変更版の Friedman 1）では、適切なスコアに基づく補正が分散予測における過学習を効果的に是正し、不確実性の伝達を向上させる。
• 複数のデータセットおよびモデルアーキテクチャを横断して検証された結果、本フレームワークは予測精度を損なわず、正確で一意の補正を可能にする。
• 実験的結果から、DSS などの適切なスコアに基づく推定器は、従来の推定器とは異なり、テストデータサイズの変動に対してロバストであることが示され、サンプル数が減るにつれて単調に劣化しない。