[論文レビュー] Class-Distribution-Aware Calibration for Long-Tailed Visual Recognition

Mobarakol Islam, Lalithkumar Seenivasan+2 more|arXiv (Cornell University)|Sep 11, 2021

Advanced Neural Network Applications参考文献 30被引用数 9

ひとこと要約

本稿では、長尾視覚認識におけるモデルのキャリブレーションを向上させるために、クラス頻度に配慮した温度スケーリング（CDA-TS）とラベルスムージング（CDA-LS）を提案する。クラス頻度に応じてキャリブレーションパラメータを調整することにより、CDA-TSおよびCDA-LSは高頻度クラスにおける過信を軽減し、CIFAR-100-LT、Places-LT、ImageNet-LTの各データセットにおいて、標準的なTSおよびLSと比較して優れたキャリブレーション誤差と精度を達成する。

ABSTRACT

Despite impressive accuracy, deep neural networks are often miscalibrated and tend to overly confident predictions. Recent techniques like temperature scaling (TS) and label smoothing (LS) show effectiveness in obtaining a well-calibrated model by smoothing logits and hard labels with scalar factors, respectively. However, the use of uniform TS or LS factor may not be optimal for calibrating models trained on a long-tailed dataset where the model produces overly confident probabilities for high-frequency classes. In this study, we propose class-distribution-aware TS (CDA-TS) and LS (CDA-LS) by incorporating class frequency information in model calibration in the context of long-tailed distribution. In CDA-TS, the scalar temperature value is replaced with the CDA temperature vector encoded with class frequency to compensate for the over-confidence. Similarly, CDA-LS uses a vector smoothing factor and flattens the hard labels according to their corresponding class distribution. We also integrate CDA optimal temperature vector with distillation loss, which reduces miscalibration in self-distillation (SD). We empirically show that class-distribution-aware TS and LS can accommodate the imbalanced data distribution yielding superior performance in both calibration error and predictive accuracy. We also observe that SD with an extremely imbalanced dataset is less effective in terms of calibration performance. Code is available in https://github.com/mobarakol/Class-Distribution-Aware-TS-LS.

研究の動機と目的

• 高頻度クラスにおいてモデルが過信になる長尾データセットにおけるモデルのキャリブレーション誤差を是正すること。
• 不均衡データ設定において一様な温度スケーリング（TS）およびラベルスムージング（LS）の限界を克服すること。
• クラス頻度をキャリブレーションパラメータに組み込むクラス分布に配慮したキャリブレーション技術の開発。
• 自己蒸留における知識蒸留損失にCDA-TSを統合し、自己蒸留時のキャリブレーションと精度を向上させること。
• 最先端のキャリブレーション指標を用いて、複数の長尾ベンチマークで提案手法を検証すること。

提案手法

• CDA-TSは、スカラー温度をクラス頻度に基づいて導出されたクラス固有の温度ベクトルに置き換えることで、高頻度クラスにおける過信を軽減する。
• CDA-LSはスカラーではなくクラス固有のスムージング要因ベクトルを用い、クラス分布に応じてハードラベルを平坦化する。
• CDA-TSベクトルは、検証セット上で線形探索を用いて、キャリブレーション誤差を最小化するように最適化される。
• CDA-TSは知識蒸留損失に統合され、自己蒸留中のキャリブレーションと精度を向上させる。
• 訓練中は、修正されたログティス（CDA-TS）またはソフトラベル（CDA-LS）を用いた標準的なクロスエントロピー損失が使用される。
• パフォーマンスの評価には、信頼性図とキャリブレーション誤差指標（ECE、SCE、TACE、UCE、BS）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 クラス頻度に配慮した温度スケーリング（CDA-TS）は、長尾データセットで学習されたモデルのキャリブレーション誤差を低減できるか？
• RQ2 クラス頻度に配慮したラベルスムージング（CDA-LS）は、標準的なラベルスムージングと比較してキャリブレーションと精度を向上させるか？
• RQ3 CDA-TSは、極めて不均衡なデータに適用された自己蒸留において、どのように性能を発揮するか？
• RQ4 CDA-TSとCDA-LSを併用することで、長尾認識における予測精度とキャリブレーション誤差の両方を向上させられるか？
• RQ5 キャリブレーションパラメータにクラス頻度を組み込むことで、より優れた信頼性図と低い不確実性キャリブレーション誤差が得られるか？

主な発見

• CIFAR-100-LT（不均衡比100）において、CDA-TSはベースラインと比較して期待キャリブレーション誤差（ECE）を57％低減した。
• CIFAR-100-LT（不均衡比10）において、CDA-TSは58.67％の精度と0.1694のECEを達成し、ベースライン（57.60％の精度、0.1801のECE）を上回った。
• CIFAR-100-LT（不均衡比100）において、CDA-LSはECEをベースラインの0.328から0.038にまで低減し、顕著な改善を示した。
• CDA-TSを用いた自己蒸留では、固定温度Tを用いた標準的蒸留（57.64％の精度、0.1974のECE）を上回り、58.67％の精度と0.1694のECEを達成した。
• CIFAR-100-LT、Places-LT、ImageNet-LTの全3つのデータセットにおいて、CDA-TSはキャリブレーションを維持または向上させた。
• CDA-TSは不確実性キャリブレーション誤差（UCE）を低く抑え、信頼性図においても、信頼度曲線が恒等関数線に近づく良好な結果を示した。