[論文レビュー] Beyond temperature scaling: Obtaining well-calibrated multiclass probabilities with Dirichlet calibration

Meelis Kull, Miquel Perelló-Nieto+4 more|arXiv (Cornell University)|Oct 28, 2019

Machine Learning and Data Classification被引用数 162

ひとこと要約

この論文は、Dirichletベースのキャリブレーションマップを学習して任意の分類器に対してよく校正された多クラス確率を生成する天然の多クラス後処理キャリブレーション手法であるDirichlet calibrationを導入し、多くの設定で温度スケーリングを上回ると報告する。

ABSTRACT

Class probabilities predicted by most multiclass classifiers are uncalibrated, often tending towards over-confidence. With neural networks, calibration can be improved by temperature scaling, a method to learn a single corrective multiplicative factor for inputs to the last softmax layer. On non-neural models the existing methods apply binary calibration in a pairwise or one-vs-rest fashion. We propose a natively multiclass calibration method applicable to classifiers from any model class, derived from Dirichlet distributions and generalising the beta calibration method from binary classification. It is easily implemented with neural nets since it is equivalent to log-transforming the uncalibrated probabilities, followed by one linear layer and softmax. Experiments demonstrate improved probabilistic predictions according to multiple measures (confidence-ECE, classwise-ECE, log-loss, Brier score) across a wide range of datasets and classifiers. Parameters of the learned Dirichlet calibration map provide insights to the biases in the uncalibrated model.

研究の動機と目的

• 多クラス設定における基本的なキャリブレーション概念を明らかにし、既存手法の限界を強調する。
• Dirichlet分布に基づく天然の多クラスキャリブレーション手法を導入する。
• キャリブレーションマップの解釈性を持つ実用的で実装可能なパラメトリゼーションを提供する。
• 複数のデータセットと指標にわたって非ニューラルおよびニューラルモデルの範囲でDirichlet calibrationを評価する。

提案手法

• 各クラス j に対して P(p̂(X)|Y=j) を Dirichlet(α^(j)) としてモデリングすることでDirichlet calibrationを提案する。
• Bayesの法則を用いて生成形と2つの同値パラメトリゼーションを持つ典型的なキャリブレーション関数 μ̂_Dir(q) を導出する：線形形 μ̂_DirLin(q;W,b) = σ(W ln q + b) および標準形 μ̂_Dir(q;A,c) = σ(A ln(q/1/k) + ln c)。
• 三つのパラメトリゼーション（DirGen, DirLin, Dir）の同値を証明する。
• 確定解としての標準形の解釈性を、確率単位立体上の解釈ポイントと、行列 A およびベクトル c がキャリブレーションとクラス混同行境界にどのように影響するかの分析を通じて提供する。
• 深層ネットのキャリブレーション時の過適合を防ぐためのOff-Diagonal and Intercept Regularisation (ODIR) を導入し、対数損失項に追加する。L = (1/n)∑ logloss(μ̂_DirLin(p̂(xi)); yi) + λ(1/(k(k−1))∑i≠j wij^2) + μ(1/k)∑j bj^2。
• 標準的なフレームワーク（例えば、対数変換層に続く密結合層とソフトマックス）での直感的な実装を提供し、ゼロ確率のクリッピングを指摘する。

実験結果

リサーチクエスチョン

• RQ1 天然の多クラスキャリブレーションマップは、多クラス設定において二値/一元的なキャリブレーション手法を上回ることができるか？
• RQ2 Dirichletキャリブレーションベースのマップは、さまざまなデータセットとモデルファミリーに対して温度スケーリングより有利になるか？
• RQ3 高次元のキャリブレーションを深層ネットワークで行う際、過剰適合を防ぐOD正則化は必須か？
• RQ4 ロジットと確率でキャリブレーションした場合、行列スケーリングおよびベクトルスケーリングとDirichletキャリブレーションマップを比較するとどうなるか？
• RQ5 canonicalパラメトリゼーションから得られるクラス別バイアスや混同行パターンについて、どのような解釈可能性が得られるか？

主な発見

• Dirichlet_L2は非ニューラルモデルとデータセット全般で良好な性能を示し、しばしば最良のキャリブレータの中にランクされる。
• Dirichlet_ODIR（OD-正則化付き）は深層ネットで温度スケーリングを頻繁に上回り、特にクラス別キャリブレーション cw-ECE において顕著。
• CIFAR-10 では Dirichlet 系列が cw-ECE およびいくつかの設定で log-loss で温度スケーリングを上回る； CIFAR-100 では Dir-ODIR が cw-ECE を TempS より改善するが log-loss はわずかに上昇する場合がある。
• 行列スケーリングとODIRは一部の指標で Dir-ODIR を凌ぐ場合があるが、対角でないクラス依存を捉える利点は、対ペア効果をモデル化した場合に log-lossの改善など、いくつかのケースで明らか。
• ODIR正則化は過適合を抑制し、高次元のキャリブレーションマップ（例：100クラス）でのキャリレーション品質の維持に役立つ。
• キャリブレーションマップは、単体の単純形点近くの確率をどのように動かすかを示すことで解釈性を提供する。解釈点には単純形の中心とファセットの中心が含まれる。