[論文レビュー] Improving model calibration with accuracy versus uncertainty optimization

Ranganath Krishnan, Omesh Tickoo|arXiv (Cornell University)|Dec 14, 2020

Adversarial Robustness in Machine Learning参考文献 49被引用数 60

ひとこと要約

本論文は AvUC を導入します。可微分な accuracy と uncertainty の calibration 損失であり、正確な予測に対しては自信を持ち、正確でない場合には不確かになるようモデルを訓練し、分布シフト下のキャリブレーションを改善します。後付けの AvUTS オプションを提供します。

ABSTRACT

Obtaining reliable and accurate quantification of uncertainty estimates from\ndeep neural networks is important in safety-critical applications. A\nwell-calibrated model should be accurate when it is certain about its\nprediction and indicate high uncertainty when it is likely to be inaccurate.\nUncertainty calibration is a challenging problem as there is no ground truth\navailable for uncertainty estimates. We propose an optimization method that\nleverages the relationship between accuracy and uncertainty as an anchor for\nuncertainty calibration. We introduce a differentiable accuracy versus\nuncertainty calibration (AvUC) loss function that allows a model to learn to\nprovide well-calibrated uncertainties, in addition to improved accuracy. We\nalso demonstrate the same methodology can be extended to post-hoc uncertainty\ncalibration on pretrained models. We illustrate our approach with mean-field\nstochastic variational inference and compare with state-of-the-art methods.\nExtensive experiments demonstrate our approach yields better model calibration\nthan existing methods on large-scale image classification tasks under\ndistributional shift.\n

研究の動機と目的

• 動機: 校正された不確かさは、安全性が重視されるAI システムとデータセットのシフト下での堅牢な意思決定に不可欠である。
• 目的: 精度と不確かさを結びつけ、精度を損なうことなくキャリブレーションを改善する可微分な AvUC 損失を開発する。
• 狙い: 学習時のキャリブレーション（SVI-AvUC）と事後のキャリブレーション（AvUTS）を事前訓練済みモデルに対して実現する。
• 手法: 損失キャリブレーション付き推論フレームワーク内で AvUC を適用し、分布シフト下の大規模画像分類で評価する。

提案手法

• 精度と不確かさの関係を形式化するために AvU カテゴリ（AC, AU, IC, IU）を定義する。
• 訓練中に AvU ユーティリティを最適化するため、微分可能な AvU 代理指標と AvUC 損失を導入する。
• 損失キャリブレーション済み ELBO（SVI-AvUC）にペナルティ項として AvUC を統合し、重み付けハイパーパラメータ β を設定する。
• 事後キャリブレーション手法（AvUTS）を提供し、事前訓練済みモデルに対して温度スケーリングを通じて AvUC を最適化する。
• 平均場確率的変分推論への適用性を示し、Temp scaling、Ensembles、Dropout などのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 分布シフト下で精度を損なうことなく、よりキャリブレーションされた不確かさを生み出す可微分 AvUC 損失は実現できるか。
• RQ2 AvUC は大規模データセットに跨る分布内キャリブレーションとデータセットシフト下のキャリブレーションの両方を改善するか。
• RQ3 事後 AvUTS は事前訓練済みモデルに対する訓練時 AvUC と競合できるか。
• RQ4 AvUC は分布シフト検出と不確かさベースの評価指標にどのように影響するか。

主な発見

• SVI-AvUC は分布シフト下でベースラインより良いモデルキャリブレーション（ECEおよびUCEが低い）を達成し、アンサンブルと同等の精度を維持する。
• SVI-AvUC は壊れたシフト下の ImageNet および CIFAR10 で、信頼度-精度の関係と不確かさの質を複数の指標で改善する。
• AvUTS は、基礎となる SVI および通常モデルに対して事後の不確かさキャリブレーションの改善を提供し、キャリブレーション誤差がより小さいことを示す。
• AVUC に基づく手法は予測不確かさを用いた分布シフト検出性能を向上させ、いくつかの競合手法を上回る。
• 表形式の結果は、SVI-AvUC が Temp scaling、Dropout、Enlightened Bayesian のベースラインと比較して、シフト強度全体にわたりより優れたキャリブレーションと不確かさ指標を示す。
• AVUC 手法は、分布シフト下で校正済み信頼度と不確かさ指標の双方を向上させる。