[論文レビュー] Revisiting the Evaluation of Uncertainty Estimation and Its Application to Explore Model Complexity-Uncertainty Trade-Off

Yukun Ding, Jinglan Liu+2 more|arXiv (Cornell University)|Mar 5, 2019

Adversarial Robustness in Machine Learning参考文献 45被引用数 9

ひとこと要約

この論文は、深層ニューラルネットワークにおける不確実性推定のための標準的指標（特にAUROC、AUPR、ECE、MCE）に深刻な欠陥があることを特定し、選択的予測のためのAURCと信頼度キャリブレーションのためのアダプティブビニングという改善された代替指標を提案する。著者らは、モデルの複雑さが選択的予測における不確実性の質に顕著に影響を与えるが、キャリブレーションには与えないこと、つまりこれまでに明らかにされていなかった複雑さと不確実性のトレードオフを示している。

ABSTRACT

Accurately estimating uncertainties in neural network predictions is of great importance in building trusted DNNs-based models, and there is an increasing interest in providing accurate uncertainty estimation on many tasks, such as security cameras and autonomous driving vehicles. In this paper, we focus on the two main use cases of uncertainty estimation, i.e. selective prediction and confidence calibration. We first reveal potential issues of commonly used quality metrics for uncertainty estimation in both use cases, and propose our new metrics to mitigate them. We then apply these new metrics to explore the trade-off between model complexity and uncertainty estimation quality, a critically missing work in the literature. Our empirical experiment results validate the superiority of the proposed metrics, and some interesting trends about the complexity-uncertainty trade-off are observed.

研究の動機と目的

• 深層学習における不確実性推定に一般的に用いられる指標の欠陥を特定すること。
• モデルの変更に対して安定した指標としてのAURCを提案し、AUROC や AUPR がモデル変更下で誤解を招く問題を是正すること。
• 信頼度キャリブレーション評価のための頑健性と正確性を向上させるために、アダプティブビニングを導入すること。
• モデルの複雑さと不確実性推定の質との間のトレードオフを実験的に調査すること。
• 分類および医療画像セグメンテーションタスクにおける包括的な実験を通じて、提案された指標の有効性を検証すること。

提案手法

• 選択的予測のための新しい主要指標として、モデル変更に対して一貫性を保つ「リスクカバレッジ下面積（AURC）」を提案する。
• キャリブレーション評価のためのアダプティブビニングを導入し、信頼度分布に基づいてビンの境界を動的に調整することで、内部補償を低減し、正確な推定を向上させる。
• CIFAR-10およびCIFAR-100で、幅広い複雑さのモデル（例：WideResNet、DenseNet）に対してAURCとアダプティブビニングを用いて不確実性推定を再評価する。
• Whole Heart Segmentationデータセットを用いたU-Net変種を用いた医療画像セグメンテーションに新しい指標を適用し、一般化性を検証する。
• ベースライン指標（ECE、MCE）とアダプティブ変種（AECE、AMCE）を比較することで、異なるモデルアーキテクチャーやデータ分布下での頑健性と信頼性を評価する。
• 選択的予測と信頼度キャリブレーションを理論的に関連づけ、実験的調査を支援する。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャが変更されても性能が安定している場合でも、AUROC や AUPR がなぜ誤解を招くようになるのか。
• RQ2 固定ビニングと比較して、アダプティブビニングがECE や MCE のようなキャリブレーション誤差指標の信頼性をどのように向上させるのか。
• RQ3 モデルの複雑さは、選択的予測における不確実性推定の質と、信頼度キャリブレーションの質にどのように影響を与えるのか。
• RQ4 AURC は、AUROC や AUPR よりも、選択的予測の評価においてより頑健で一貫性のある指標として機能できるか。
• RQ5 モデルサイズが増加するに従って、異なるタスクやデータセットで不確実性推定の質にどのような経験的傾向が見られるか。

主な発見

• AURC は、特にモデルアーキテクチャの変更下でも、AUROC や AUPR よりも一貫性と信頼性に優れる。
• アダプティブビニングは内部補償を低減させ、正確な推定を向上させることで、ECE や MCE よりもより頑健なキャリブレーション誤差指標（AECE と AMCE）を実現する。
• AECE は常に ECE よりも低く、平均差は 0.005～0.01 に達するため、アダプティブビニング下でのキャリブレーション推定がより優れていることが示された。
• DenseNet において、CIFAR-100 および CIFAR-10 で AMCE は MCE よりも顕著に低く、特に高信頼度領域で改善が顕著に見られ、ビニングの改善と不正確さの低減によるものである。
• モデルの複雑さは、AURC のトレンドから明らかになったように、選択的予測における不確実性の質に強い影響を与えるが、信頼度キャリブレーション指標にはほとんど影響しない。
• 医療画像セグメンテーションにおいては、ECE と AECE がほぼ同一であることが判明したが、MCE は不安定なままであり、これは小さなデータセットでも固定ビニングの限界を示している。