[論文レビュー] Calibrating Deep Neural Networks using Focal Loss

Jishnu Mukhoti, Viveka Kulharia+4 more|arXiv (Cornell University)|Feb 21, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用数 87

ひとこと要約

本論文は focal loss での学習がクロスエントロピーよりもキャリブレーションされた深層ニューラルネットワークを生み出すこと、焦点損失と温度スケーリングを組み合わせると精度を損なうことなく最先端のキャリブレーションを達成できることを示している。さらに、サンプルごとに gamma を選択する戦略を提供し、キャリブレーションを自動化する。

ABSTRACT

Miscalibration - a mismatch between a model's confidence and its correctness - of Deep Neural Networks (DNNs) makes their predictions hard to rely on. Ideally, we want networks to be accurate, calibrated and confident. We show that, as opposed to the standard cross-entropy loss, focal loss [Lin et. al., 2017] allows us to learn models that are already very well calibrated. When combined with temperature scaling, whilst preserving accuracy, it yields state-of-the-art calibrated models. We provide a thorough analysis of the factors causing miscalibration, and use the insights we glean from this to justify the empirically excellent performance of focal loss. To facilitate the use of focal loss in practice, we also provide a principled approach to automatically select the hyperparameter involved in the loss function. We perform extensive experiments on a variety of computer vision and NLP datasets, and with a wide variety of network architectures, and show that our approach achieves state-of-the-art calibration without compromising on accuracy in almost all cases. Code is available at https://github.com/torrvision/focal_calibration.

研究の動機と目的

• 高容量DNNにおけるミスキャリブレーションと、それがクロスエントロピー下のNLL過剰適合とどう関連するかを調査する。
• キャリブレーション改善のトレーニング目的として focal loss を提案・分析する。
• サンプルごとに focal loss のハイパーパラメータ gamma を自動的に選択する principled な手法を開発する。
• 多様なデータセットとアーキテクチャにおけるキャリブレーション性能を評価し、既存のキャリブレーション手法と比較する。

提案手法

• トレーニング時にクロスエントロピーを focal loss に置換し、予測分布のエントロピーを高め、過信を抑える。
• 焦点損失と正則化されたKLダイバージェンスを結ぶ上界を導出・活用し、暗黙のエントロピー正則化を正当化する。
• 各サンプルの正解確率に基づくサンプルごとの gamma 選択方針を導入し、gamma スケジュールを介して勾配の大きさを制御する。
• CVおよびNLPデータセットにおいて、温度スケーリング有無にかかわらず、キャリブレーション（ECE, AdaECE, Classwise-ECE）と精度を経験的に評価する。MMCE、Brier損失、ラベル平滑化と比較する。
• 焦点損失の勾配ダイナミクスと暗黙の重み正則化を分析し、gamma、p（予測確率）、および勾配ノルムの関係に関する理論的命題を含む。

実験結果

リサーチクエスチョン

• RQ1 焦点損失は多様なデータセットとアーキテクチャにおいて、クロスエントロピーと比較してモデルのキャリブレーションを改善するか？
• RQ2 焦点損失はNLLへの過剰適合と、トレーニング中の誤予測の確信度にどのように影響するか？
• RQ3 サンプルごとの gamma スケジュールは、追加の検証チューニングなしで自動的により良いキャリブレーションを達成できるか？
• RQ4 焦点損失がアウトオブディストリビューション検出と分布シフトへの頑健性に与える影響は、温度スケーリングのみと比べてどうか？

主な発見

• 視覚タスクとNLPタスクの広範な実験において、焦点損失はクロスエントロピー、MMCE、Brier損失、ラベル平滑化よりもキャリブレーション性能が高い。
• 温度スケーリングと組み合わせると、焦点損失で学習したモデルは精度を維持しつつ最先端のキャリブレーションを達成する。
• サンプルごとの gamma ポリシー（正解確率が低い場合は高い gamma、そうでない場合は低い gamma）により、追加の検証なしでキャリブレーションが改善される。
• 焦点損失は暗黙の正則化を示す：過信した予測に対する勾配の大きさを抑制し、誤分類サンプルのピーク寄り分布に伴うキャリブレーションの不良を減らす。
• 焦点損失で学習したモデルは、アウトオブディストリビューション検出（OoDタスクでより高いAUROC）と分布シフト下での頑健なキャリブレーションを示し、時には温度スケーリング単独を上回る。
• 本論文は、Lambert W 関数を含む閉形式の関係を用いた gamma の選択に関する実践的ガイダンスと理論的洞察を提供し、サンプルごとの gamma 選択を可能にする。）