[論文レビュー] AdaFocal: Calibration-aware Adaptive Focal Loss

Arindam Ghosh, Thomas Schaaf+1 more|arXiv (Cornell University)|Nov 21, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

AdaFocalは、検証データの信頼度フィードバックを用いて、各サンプルグループごとにフォーカル損失のガンマパラメータを動的に調整するキャリブレーションに配慮したアダプティブフォーカル損失を提案する。これにより、精度を損なわずにモデルのキャリブレーションが向上し、画像およびNLPタスクにおいて標準的なフォーカル損失や最先端の手法を上回る性能を発揮する。特に、分布外検出性能が顕著に向上し、後処理によるキャリブレーションからより大きな利益を得られるようになる。

ABSTRACT

Much recent work has been devoted to the problem of ensuring that a neural network's confidence scores match the true probability of being correct, i.e. the calibration problem. Of note, it was found that training with focal loss leads to better calibration than cross-entropy while achieving similar level of accuracy \cite{mukhoti2020}. This success stems from focal loss regularizing the entropy of the model's prediction (controlled by the parameter $γ$), thereby reining in the model's overconfidence. Further improvement is expected if $γ$ is selected independently for each training sample (Sample-Dependent Focal Loss (FLSD-53) \cite{mukhoti2020}). However, FLSD-53 is based on heuristics and does not generalize well. In this paper, we propose a calibration-aware adaptive focal loss called AdaFocal that utilizes the calibration properties of focal (and inverse-focal) loss and adaptively modifies $γ_t$ for different groups of samples based on $γ_{t-1}$ from the previous step and the knowledge of model's under/over-confidence on the validation set. We evaluate AdaFocal on various image recognition and one NLP task, covering a wide variety of network architectures, to confirm the improvement in calibration while achieving similar levels of accuracy. Additionally, we show that models trained with AdaFocal achieve a significant boost in out-of-distribution detection.

研究の動機と目的

• 深層ニューラルネットワークにおけるキャリブレーション問題に対処すること。ここでの問題は、モデルの信頼度スコアが真の予測確率と一致しないことである。
• 固定ガンマのフォーカル損失の限界を克服すること。これは、一様な正則化のため、特定のサンプルに対して過小適合または過小適合を引き起こすことがある。
• 検証セットにおけるモデルの信頼度行動に基づき、フォーカル損失のガンマパラメータを適応的に調整する手法を開発すること。
• 多様なアーキテクチャとタスクにおいて、キャリブレーションを向上させつつ、精度を維持または向上させること。
• より良いキャリブレーションされた信頼度スコアを通じて、分布外検出性能を向上させること。

提案手法

• AdaFocalは、直前のステップでのガンマと検証セットにおけるモデルの過小・過小信頼度に基づき、各トレーニングサンプルグループに対してガンマパラメータを適応的に更新する。
• キャリブレーション誤差（信頼度 vs. 正解率）を検証バインで監視するフィードバック機構を用い、ガンマの調整をガイドする。
• 過小信頼度が深刻な状況に陥った場合、標準フォーカル損失と逆フォーカル損失の間で動的に切り替える。
• ガンマの適応は検証バインごとに行われ、キャリブレーション行動に応じたグループ特化された正則化が可能になる。
• 既存のトレーニングパイプラインに統合可能で、画像およびNLPタスクに最小限のアーキテクチャ変更で対応可能である。
• フォーカル損失が持つエントロピー正則化の性質を活用しつつ、キャリブレーションに配慮したフィードバックによりその適応性を強化する。

実験結果

リサーチクエスチョン

• RQ1 フォーカル損失におけるアダプティブガンマスケジューリングが、精度を損なわずにモデルキャリブレーションを改善できるか？
• RQ2 検証セットの信頼度行動に基づく動的ガンマ調整は、固定またはヒューリスティックなガンマ設定よりも優れたキャリブレーションを達成できるか？
• RQ3 AdaFocalは、多様なアーキテクチャとデータセットにおいて、最先端のキャリブレーションに配慮したトレーニング手法を上回ることができるか？
• RQ4 AdaFocalは、分布外検出性能をどの程度向上させることができるか？
• RQ5 AdaFocalは、後処理キャリブレーション技術とどのように相互作用し、キャリブレーション誤差をさらに低減できるか？

主な発見

• AdaFocalは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet、20 Newsgroupsを含むすべての評価データセットで期待キャリブレーション誤差（ECE）を顕著に低減した。
• Wide-ResNetを用いたCIFAR-100では、AdaFocalがECE 1.25%を達成し、FLSD-53（1.68%）と交差エントロピー（2.10%）を上回った。
• AdaFocalでトレーニングされたモデルは、ベースライン手法と比較して、分布外検出のAUCが30〜50%向上した。
• AdaFocalは、温度スケーリングを組み合わせた後処理キャリブレーションからより大きな利益を得られるようになり、さらなるECE低減を実現した。
• ResNets、DenseNets、BERTベースのモデルを含む複数のアーキテクチャで一貫した改善が確認された。
• アダプティブガンマスケジューリング機構は、過小信頼度と過小信頼度のバランスをうまくとることができ、すべての検証バインでキャリブレーション誤差がほぼゼロに近づいた。