[論文レビュー] Calibration of Neural Networks

Ruslan Vasilev, A. G. D’yakonov|arXiv (Cornell University)|Mar 19, 2023

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、ニューラルネットワークの信頼度キャリブレーション手法について包括的なサーベイと実験的評価を提示しており、後処理手法（ヒストグラム・ビニング、等方的回帰、温度スケーリング）と訓練時アプローチ（損失関数の変更）を比較している。主な貢献は、多様なデータセットとアーキテクチャを用いた体系的なベンチマークであり、温度スケーリングと改善された交差エントロピー損失がキャリブレーションを顕著に向上させることを示しており、VスケーリングおよびMスケーリング-b手法がCIFAR-100およびTinyImageNetで最先端のBrierスコアを達成した。

ABSTRACT

Neural networks solving real-world problems are often required not only to make accurate predictions but also to provide a confidence level in the forecast. The calibration of a model indicates how close the estimated confidence is to the true probability. This paper presents a survey of confidence calibration problems in the context of neural networks and provides an empirical comparison of calibration methods. We analyze problem statement, calibration definitions, and different approaches to evaluation: visualizations and scalar measures that estimate whether the model is well-calibrated. We review modern calibration techniques: based on post-processing or requiring changes in training. Empirical experiments cover various datasets and models, comparing calibration methods according to different criteria.

研究の動機と目的

• 医療や自律走行システムなどの実世界の応用分野におけるニューラルネットワーク予測の信頼性のある信頼度推定の重要性に対応する。
• 現代のディープラーニングアーキテクチャ上で、後処理および訓練ベースの両方のキャリブレーション手法を体系的に評価・比較する。
• 複数のデータセット（CIFAR-10, CIFAR-100, TinyImageNet, ImageNet）とモデルをカバーする包括的な統一された実験的ベンチマークを提供し、さまざまな条件下でのキャリブレーション性能を評価する。
• 交差エントロピー、ファーコン損失、ラベルスムージングなどの異なる損失関数がモデルのキャリブレーションおよび一般化性能に与える影響を分析する。
• 視覚化（信頼性図）とスカラー指標（Brierスコア、ECE）を用いたキャリブレーション評価の明確な手法を確立する。

提案手法

• 予測信頼度が真の正答率と一致することを保証する形式的基準として、P(y = ŷ | ŷ の信頼度 = p) = p（任意のp ∈ [0,1]）を定義し、キャリブレーションを定式化する。
• 信頼度スコアをビンに分け、各ビンにおける平均信頼度と実際の正答率の対応をプロットすることで、信頼性図（キャリブレーション曲線）を用いてキャリブレーションを視覚的に評価する。
• 期待キャリブレーション誤差（ECE）やBrierスコアなどのスカラー指標を用いてキャリブレーションの質を定量的に評価し、低い値がより良好なキャリブレーションを示す。
• ヒストグラム・ビニング、等方的回帰、温度スケーリング（Tスケーリング）を含む後処理キャリブレーション手法を実装し、ロジットに対する単調な変換を学習する。
• VスケーリングおよびMスケーリング-bといった新規な変種を導入・評価し、多クラス問題におけるキャリブレーション向上のための追加制約をロジットに適用する。
• 交差エントロピー、ファーコン損失（FL）、ラベルスムージング（LS）といった変更された損失関数を用いてモデルを訓練し、後処理なしに内在的なキャリブレーション特性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ヒストグラム・ビニング、等方的回帰、温度スケーリングなどの異なる後処理キャリブレーション手法が、多様なニューラルネットワークアーキテクチャにおいて、どのようにキャリブレーション性能を発揮するか？
• RQ2 ファーコン損失やラベルスムージングといった訓練時損失の変更が、ディープニューラルネットワークの内在的キャリブレーションに与える影響は何か？
• RQ3 Brierスコアや期待キャリブレーション誤差（ECE）といったキャリブレーション指標が、さまざまなデータセットとモデルタイプにおいて視覚的な信頼性図とどの程度相関するか？
• RQ4 モデルアーキテクチャやデータセットの複雑さ（例：CIFAR-10 vs. ImageNet）が、キャリブレーション手法の有効性にどの程度影響を与えるか？
• RQ5 複数のベンチマークにおいて、キャリブレーションの向上と一般化性能の両立を最もよく果たすキャリブレーション手法は何か？

主な発見

• 温度スケーリング（Tスケーリング）は、すべてのデータセットとモデルで期待キャリブレーション誤差（ECE）を低減する点で、ヒストグラム・ビニングや等方的回帰を一貫して上回った。
• ファーコン損失（FL）およびラベルスムージング（LS）で訓練されたモデルは、標準的な交差エントロピー（CE）よりも顕著に優れた内在的キャリブレーションを示し、CIFAR-100ではBrierスコアが最大20％まで低下した。
• CIFAR-100では、Vスケーリング-b手法がBrierスコア0.596を達成し、他のすべての後処理手法および一部の訓練時ベースラインを上回った。
• ラベルスムージング（LS 0.05）を用いて訓練したResNet50はTinyImageNetでBrierスコア0.621を達成し、標準的なCEベースライン（0.645）を顕著に上回った。これは正則化の利点を示している。
• VスケーリングおよびMスケーリング-b手法は、すべてのデータセットで頑健な性能を示し、TinyImageNetではBrierスコアが常に0.7未満、MobileNetV2ではImageNetで0.32未満を維持した。
• 信頼性図は、ファーコン損失およびラベルスムージングで訓練されたモデルが、より平坦で対角に近いキャリブレーション曲線を示しており、予測信頼度と実際の正答率の整合性が良好であることを確認した。