[論文レビュー] Improving model calibration with accuracy versus uncertainty optimization

Ranganath Krishnan, Omesh Tickoo|arXiv (Cornell University)|Dec 14, 2020

Adversarial Robustness in Machine Learning被引用数 32

ひとこと要約

この論文は AvUC 損失を導入し、深層ネットの精度と校正された不確実性を同時に最適化し、分布シフト下での校正を改善し、後置 AvUTS 校正へ拡張しています。 ImageNet および CIFAR10 における平均場 SVI で最先端の校正性能（SVI-AvUC）を示し、ベースラインと比較して有利です。

ABSTRACT

Obtaining reliable and accurate quantification of uncertainty estimates from deep neural networks is important in safety-critical applications. A well-calibrated model should be accurate when it is certain about its prediction and indicate high uncertainty when it is likely to be inaccurate. Uncertainty calibration is a challenging problem as there is no ground truth available for uncertainty estimates. We propose an optimization method that leverages the relationship between accuracy and uncertainty as an anchor for uncertainty calibration. We introduce a differentiable accuracy versus uncertainty calibration (AvUC) loss function that allows a model to learn to provide well-calibrated uncertainties, in addition to improved accuracy. We also demonstrate the same methodology can be extended to post-hoc uncertainty calibration on pretrained models. We illustrate our approach with mean-field stochastic variational inference and compare with state-of-the-art methods. Extensive experiments demonstrate our approach yields better model calibration than existing methods on large-scale image classification tasks under distributional shift.

研究の動機と目的

• 安全性が重要なアプリケーションにおける信頼できる不確実性定量化の必要性を動機づける。
• 訓練中に使用できる微分可能な精度対不確実性の校正（AvUC）損失を開発する。
• 予め学習済みモデルのポストホック校正（AvUTS）へ AvUC を拡張する。
• 大規模な視覚タスクにおける分布シフト下での校正を評価し、強力なベースラインと比較する。

提案手法

• AvU（Accuracy vs. Uncertainty）を、よく校正された予測の指標として定義する。
• loss-calibrated inference フレームワーク内でのユーティリティ依存のペナルティとして機能する微分可能な AvUC 損失を導出する。
• 平均場の確率的変分推論（SVI-AvUC）で示される、損失校正ELBO に AvUC 損失を組み込む。
• held-out data で AvUC を最適化するポストホック AvU 温度スケーリング（AvUTS）を提案する。
• モンテカルロサンプリングと不確実性推定の予測エントロピーを含む、実践的な訓練と推論の手順を提供する。

実験結果

リサーチクエスチョン

• RQ1 AvUC は分布シフト下で精度を犠牲にせず不確実性の校正を改善するか？
• RQ2 AvUC はベイズ（SVI）と非ベイズの訓練に組み込むことで、より校正された不確実性を得られるか？
• RQ3 後置の校正手法としての AvUTS は、従来の温度スケーリングと比較してどう機能するか？
• RQ4 校正された不確実性は分布シフト検出およびOOD識別にどのように影響するか？

主な発見

• SVI-AvUC はデータセットのシフト下での校正誤差（ECE と UCE）を競合法より低くする。
• AvUC は予測信頼度と不確実性の質を改善し、精度を維持または向上させながら。
• AvUTS は SVI ベースラインを超えて pretrained モデルに追加の校正利得を提供する。
• SV I-AvUC は ImageNet と CIFAR10 ベンチマーク全体で分布シフト検出性能を強化する。
• 多数の結果は、校正された不確実性が分布内データとシフトデータおよび OOD シナリオを区別するのに役立つことを示している。