[論文レビュー] Improving Calibration for Long-Tailed Recognition

Zhisheng Zhong, Jiequan Cui+2 more|arXiv (Cornell University)|Apr 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 9

ひとこと要約

この論文では、クラス固有の過信を軽減するラベル意識スムージングと、2段階の分離フレームワークにおけるデータセットバイアスを是正するためのシフトドバッチ正規化を導入することで、長尾認識におけるキャリブレーションとパフォーマンスを向上させるMiSLASという手法を提案する。複数のベンチマークで最先端の精度と顕著に低減された期待キャリブレーション誤差（ECE）を達成している。

ABSTRACT

Deep neural networks may perform poorly when training datasets are heavily class-imbalanced. Recently, two-stage methods decouple representation learning and classifier learning to improve performance. But there is still the vital issue of miscalibration. To address it, we design two methods to improve calibration and performance in such scenarios. Motivated by the fact that predicted probability distributions of classes are highly related to the numbers of class instances, we propose label-aware smoothing to deal with different degrees of over-confidence for classes and improve classifier learning. For dataset bias between these two stages due to different samplers, we further propose shifted batch normalization in the decoupling framework. Our proposed methods set new records on multiple popular long-tailed recognition benchmark datasets, including CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, Places-LT, and iNaturalist 2018. Code will be available at https://github.com/Jia-Research-Lab/MiSLAS.

研究の動機と目的

• 長尾データセットで訓練された深層ニューラルネットワークにおけるモデルのキャリブレーション不良と過信の重大な問題に対処すること。
• 長尾認識の2段階分離フレームワークにおいて、異なるサンプリング戦略が引き起こすデータセットバイアス（ドメインシフト）を解消すること。
• クラスの不均衡に起因するクラス固有の信頼度を考慮することで、分類器の学習とキャリブレーションを向上させること。
• 標準的な長尾ベンチマークにおいて、精度とキャリブレーションの両面で最先端のパフォーマンスを達成すること。

提案手法

• クラス頻度に応じてラベルスムージングを動的に調整するラベル意識スムージングを提案し、尾部クラスの過信を低減する。
• ステージ1（インスタンスバランス）とステージ2（クラスバランス）の訓練データ間の分布シフトを軽減するため、シフトドバッチ正規化（シフト学習）を導入する。
• ステージ1でミックスアップ増強を適用し、表現学習を向上させるが、分類器学習に悪影響を及えないようにする。
• ミックスアップ、ラベル意識スムージング、シフト学習を統合した包括的な2段階分離フレームワーク（MiSLAS）を構築し、エンドツーエンド最適化を実現する。
• 期待キャリブレーション誤差（ECE）を主な評価指標として採用し、全段階におけるモデルのキャリブレーションを評価・最適化する。
• バックボーンをステージ2で固定し、分類器のみをクラスバランスサンプリングでファインチューニングする分離訓練パイプラインを採用する。

実験結果

リサーチクエスチョン

• RQ1 長尾データセットのクラス不均衡は、2段階分離フレームワークにおいて、モデルのキャリブレーションと信頼度キャリブレーションにどのように影響を及ぼすか？
• RQ2 クラス頻度に応じてスムージングレベルを適応的に調整することで、ラベル意識スムージングが尾部クラスの過信を効果的に低減できるか？
• RQ3 ステージ1とステージ2の訓練データ間のデータセットバイアスが、2段階長尾認識におけるモデル性能に及ぼす影響の程度はどの程度か？
• RQ4 バッチ正規化層へのシフト学習が、分離訓練におけるドメインシフトを効果的に低減し、一般化性能を向上させられるか？
• RQ5 ミックスアップ、ラベル意識スムージング、シフト学習の統合が、多様な長尾ベンチマークにおいて一貫した精度とキャリブレーションの向上をもたらすか？

主な発見

• 長尾データセットで訓練されたモデルは、バランスデータで訓練されたモデルと比較して、顕著に高い期待キャリブレーション誤差（ECE）と過信を示す。
• 提案手法MiSLASは、CIFAR-100-LT（IF=100）でトップ1精度52.7%、ECE 1.83%を達成し、以前のSOTA手法を上回った。
• ImageNet-LTでは、トップ1精度71.6%、ECE 7.67%を達成し、cRT+mixup（70.2%/1.79%）およびLWS+mixup（70.9%/9.41%）を上回る新たなSOTAを樹立した。
• iNaturalist 2018では、トップ1精度40.4%、ECE 3.59%を達成し、以前の最良手法（LWS+mixup：39.7%/11.7%）を上回った。
• Places-LTでは、トップ1精度63.2%、ECE 1.73%を達成し、多様なデータセットで一貫した向上を示した。
• アブレーションスタディにより、各構成要素（ラベル意識スムージング、シフト学習、ミックスアップ）が、全評価対象の不均衡要因（IF=10, 50, 100）において、精度向上とECE低減に寄与していることが確認された。