[論文レビュー] Long-tail learning via logit adjustment

Aditya Krishna Menon, Sadeep Jayasumana+4 more|arXiv (Cornell University)|Jul 14, 2020

Imbalanced Data Classification Techniques参考文献 63被引用数 52

ひとこと要約

本論文は長尾ラベル分布に対処するための事後的ロジット補正とロジット補正済み損失を提案し、均衡誤差を最小化するフェアに適した機会を提供する。長尾手法を統合・改善し、強力な実証結果を示す。

ABSTRACT

Real-world classification problems typically exhibit an imbalanced or long-tailed label distribution, wherein many labels are associated with only a few samples. This poses a challenge for generalisation on such labels, and also makes naïve learning biased towards dominant labels. In this paper, we present two simple modifications of standard softmax cross-entropy training to cope with these challenges. Our techniques revisit the classic idea of logit adjustment based on the label frequencies, either applied post-hoc to a trained model, or enforced in the loss during training. Such adjustment encourages a large relative margin between logits of rare versus dominant labels. These techniques unify and generalise several recent proposals in the literature, while possessing firmer statistical grounding and empirical performance.

研究の動機と目的

• 長尾ラベル分布における一般化の課題を動機づけ、解決する。
• 希少ラベルを有利にするようにロジットをバイアス付けする2つのロジット補正技術を導入し、全体性能を損なわない。
• ロジット補正式のバランス誤差についてFisher一貫性を確立する。
• 実世界の長尾データセット上で既存手法を上回る実証的利得を示す。

提案手法

• 事後的ロジット補正は f_y(x) - tau * log pi_y によるラベル依存オフセットをロジットに加える。
• ロジット補正ソフトマックス交差エントロピーはクラス事前分布を損失に組み込み、g_y(x) = f_y(x) + tau * log pi_y に相当し、標準のスコアラーを訓練する。
• このアプローチは Delta_{yy'} = log(pi_{y'}/pi_y) および適切な alpha を用いたペアマージン損失を生み出し、バランス誤差のFisher一貫性を保証する。
• 比較の結果、ロジット補正は加法的であり（単なるウェイト正規化ではない）、オプティマイザを横断して一般により頑健であることが示される。
• Eq. 11 に示されるように、ペアマージンを用いたソフトマックスを拡張する一般的なフレームワークを提供する。
• ベンチマーク全体で事後的および損失ベースのロジット補正の両方を実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 ロジット補正はどのようにロジットや損失を修正して長尾データセットの希少クラスの性能を向上させるか。
• RQ2 事後的および訓練時のロジット補正はバランス誤差のFisher一貫性と整合するか。
• RQ3 標準的な長尾ベンチマークにおいて、ロジット補正法は既存の事後正規化や損失変更技術とどう比較されるか。
• RQ4 CIFAR-10-LT、ImageNet-LT、iNaturalist においてロジット補正法が達成する実証的利得は何か。

主な発見

方法	CIFAR-10-LT	CIFAR-100-LT	ImageNet-LT	iNaturalist
ERM	27.16	61.64	53.11	38.66
Weight normalisation (tau=1)	24.02	58.89	52.00	48.05
Weight normalisation (tau=tau*)	21.50	58.76	49.37	34.10
Adaptive (Cao et al., 2019)	26.65	60.40	52.15	35.42
Equalised (Tan et al., 2020)	26.02	57.26	54.02	38.37
Logit adjustment post-hoc (tau=1)	22.60	58.24	49.66	33.98
Logit adjustment post-hoc (tau=tau*)	19.08	57.90	49.56	33.80
Logit adjustment loss (tau=1)	22.33	56.11	48.89	33.64

• ロジット補正アプローチは長尾データセットでERMおよび多くのベースラインを上回る強力な改善を達成する。
• 事後的ロジット補正はしばしばウェイト正規化を上回り、スケーリングパラメータ tau の調整でさらに利得が得られる。
• ロジット補正損失は事後性能と一致またはそれを上回り、追加の利得を生むことがある。
• CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、および iNaturalist において、ロジット補正法は一貫してバランス誤差をベースラインと比較して低減する。
• これらの手法はデータセットとオプティマイザの選択を越えて頑健性を示し、バランス誤差のFisher一貫性に基づく理論的根拠を支持する。