[論文レビュー] Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss

Kaidi Cao, Colin Wei+3 more|arXiv (Cornell University)|Jun 18, 2019

Imbalanced Data Classification Techniques参考文献 61被引用数 226

ひとこと要約

本論文は、クラス頻度に反比例するクラス依存マージンを課す LDAM loss と、不均衡データセットにおける少数クラスの一般化を改善するための遅延リバランシングスケジュールを導入し、CIFAR、iNaturalist、IMDB で強い利得を示します。

ABSTRACT

Deep learning algorithms can fare poorly when the training dataset suffers from heavy class-imbalance but the testing criterion requires good generalization on less frequent classes. We design two novel methods to improve performance in such scenarios. First, we propose a theoretically-principled label-distribution-aware margin (LDAM) loss motivated by minimizing a margin-based generalization bound. This loss replaces the standard cross-entropy objective during training and can be applied with prior strategies for training with class-imbalance such as re-weighting or re-sampling. Second, we propose a simple, yet effective, training schedule that defers re-weighting until after the initial stage, allowing the model to learn an initial representation while avoiding some of the complications associated with re-weighting or re-sampling. We test our methods on several benchmark vision tasks including the real-world imbalanced dataset iNaturalist 2018. Our experiments show that either of these methods alone can already improve over existing techniques and their combination achieves even better performance gains.

研究の動機と目的

• 不均衡データセットにおける少数クラスの一般化性能の不良を動機づけ、対処する。
• 少数クラスの損失設計を導くための1クラスあたりのマージン理論を導出する。
• 希少クラスのマージンを増やす実用的な LDAM loss を提案する。
• 再重み付けを用いた最適化を安定化させるための遅延リバランシングトレーニングスケジュールを導入する。
• ベンチマークビジョンタスクと実世界データでの実証的利得を示す。

提案手法

• クラス j に対して最適なマージンは n_j^{-1/4} にスケールすることを示す、クラスごとのマージン境界を導出する。
• Delta_j = C / n_j^{1/4} を各クラス j に対して用いて、クラス依存マージンを課す LDAM loss を定義する。
• マージン調整を安定させるために、ロジットと最終層の重みを単位長に正規化する。
• 2段階の遅延リバランシング最適化を提案する。第1段階で LDAM/ERM で訓練し、次に学習率を低減した再重み付け LDAM を第2段階で適用する。
• LDAM を再重み付けまたは再サンプリング方式（DRW/DRS）と組み合わせて性能を向上させる（LDAM-DRW を主要パイプラインとする）。
• IMDB、CIFAR-10/100、Tiny ImageNet、および実世界データの iNaturalist 2018 の不均衡版を評価する。

実験結果

リサーチクエスチョン

• RQ1 不均衡ラベル分布の下で、クラス間の一般化を最適化するためにマージンはどのように割り当てられるべきか。
• RQ2 ラベル分布を意識したマージン損失は、頻繁クラスを損なうことなく少数クラスの性能を改善できるか。
• RQ3 DRW を遅延させると、後で再重み付けを適用したときにより良い特徴表現と利得が得られるか。
• RQ4 LDAM と DRW は標準的な不均衡ベンチマークや実世界データでどの程度の利得をもたらすか。
• RQ5 LDAM は既存の再重み付け・再サンプリング技術とどのように相互作用するか。

主な発見

• LDAM loss は希少クラスの一般化を改善し、Delta_j ∝ n_j^{-1/4} の形で希少クラスのマージンを大きくする。
• Deferred re-balancing (DRW) 訓練は最適化を安定化させ、再重み付け LDAM に続くと強い利得をもたらす。
• LDAM-DRW は ERM、再重み付け、再サンプリング、フォーカルロスのベースラインを上回り、IMDB、CIFAR-10/100、iNaturalist 2018 で優れた性能を示す。
• 独立して、LDAM と DRW は大幅な改善を提供し、これらを組み合わせると最良の結果（LDAM-DRW）を得られる。
• 実験で、人工的に不均衡な CIFAR 版と実世界データの iNaturalist 2018 は、従来技術と比べてトップ1誤差を顕著に低減。