[論文レビュー] ELM: Embedding and Logit Margins for Long-Tail Learning

Wittawat Jitkrittum, Aditya Krishna Menon+2 more|arXiv (Cornell University)|Apr 27, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

ELMは、不均衡分類における長尾学習を改善するために、埋め込みとロジットの両方にマージンを強制する統一的なフレームワークを提案する。埋め込みの幾何構造を正則化し、ロジット空間で非対称なマージンを適用することで、特に尾部クラスにおいてよりきめ細やかでコンパクトな埋め込みが得られ、一般化性能が向上し、CIFAR100-LT や iNaturalist などの長尾ベンチマークで最先端の性能を達成する。

ABSTRACT

Long-tail learning is the problem of learning under skewed label distributions, which pose a challenge for standard learners. Several recent approaches for the problem have proposed enforcing a suitable margin in logit space. Such techniques are intuitive analogues of the guiding principle behind SVMs, and are equally applicable to linear models and neural models. However, when applied to neural models, such techniques do not explicitly control the geometry of the learned embeddings. This can be potentially sub-optimal, since embeddings for tail classes may be diffuse, resulting in poor generalization for these classes. We present Embedding and Logit Margins (ELM), a unified approach to enforce margins in logit space, and regularize the distribution of embeddings. This connects losses for long-tail learning to proposals in the literature on metric embedding, and contrastive learning. We theoretically show that minimising the proposed ELM objective helps reduce the generalisation gap. The ELM method is shown to perform well empirically, and results in tighter tail class embeddings.

研究の動機と目的

• 稀な（尾部の）クラスが十分な訓練サンプルを獲得できないため、一般化性能が著しく低下する長尾学習の課題に対処すること。
• 既存のロジットマージン手法が学習済み埋め込みの幾何的分布を制御しないという限界を克服すること。
• メトリック学習と対照的学習の原則を統合し、埋め込みのコンパクト性とロジットの分離性の両方を正則化すること。
• 理論的および実験的に、埋め込みとロジットの両方のマージン正則化がベイズ最適分類器のより良い近似をもたらすことを示すこと。
• 特にiNaturalistのような困難なデータセットにおいて、支配的クラスでの性能劣化を著しく抑えつつ、ヘッド、トロイ、テイルクラスの各グループで性能を向上させること。

提案手法

• SVMにインspiredされたロジットマージン損失と、メトリック学習にインspiredされた埋め込みマージン損失を組み合わせた共同目的関数を提案し、クラス間分離性とクラス内コンパクト性を強制する。
• 同じクラスに属するサンプルの最大クラス内距離を最小化するように、埋め込みにマージンに基づく正則化項を導入し、よりきめ細やかなクラスタリングを促進する。
• ロジット空間で対称的なマージン戦略を採用し、正解クラスと最もスコアの高い誤りクラスとの間のマージンを拡大し、特に稀なクラスに利益をもたらす。
• 交差エントロピー損失、ロジットマージンペナルティ、埋め込みマージンペナルティの組み合わせとしてELMの目的関数を定式化し、3つの成分をバランスさせるハイパーパrameterを導入する。
• 線形および深層ニューラルネットワークモデルの両方への適用を実施し、標準的な学習パイプラインとの互換性を示す。
• 理論的分析を活用し、ELMがクラス条件付き分布をよりガウス分布に近づけることで、ベイズ分類器の近似を向上させることを示す。

実験結果

リサーチクエスチョン

• RQ1 ロジット空間と埋め込み空間の両方にマージンを同時に強制することで、長尾学習における一般化性能が向上するか？
• RQ2 学習済み埋め込みの幾何的分布を正則化することで、標準的なロジットマージン手法と比較して、尾部クラスのクラスタがよりタイトでコンパクトになるか？
• RQ3 不均衡データセットにおいて、ヘッドクラスとテイルクラスの一般化ギャップはどの程度縮小されるか？
• RQ4 特に現実世界のベンチマークにおいて、ELMはヘッドクラスでの性能劣化を抑えつつ、テイルクラスおよびトロイクラスの性能を向上させられるか？
• RQ5 マージン分布と埋め込みコンパクト性の観点から、LogAdj や DRO-LT、クラスバランス損失といった既存手法と比較して、ELMはどのように差をつけるか？

主な発見

• ELMは、尾部クラスのロジットマージンの分散を顕著に低減し、交差エントロピー損失や LogAdj と比較して、マージン分布のモードをより好都合にシフトさせる。
• CIFAR100-LT において、ELMはヘッドクラスでの性能低下を伴わず、トロイおよびテイルクラスの両方で LogAdj や交差エントロピー損失を上回る精度を達成する。
• iNaturalist では、ヘッドクラスを含むすべてのグループで精度が向上し、典型的なヘッド-テイルトレードオフを回避していることが示唆される。
• t-SNEの可視化結果から、ELMは特に尾部クラスにおいて、LogAdj や DRO-LT と比較してよりコンパクトで明確に分離された埋め込みを生成することが確認された。
• 最大クラス内埋め込み距離はELMによって顕著に低減されており、よりタイトなクラスタリングが確認された一方、DRO-LT は対照的正則化のため距離が増加している。
• 理論的分析により、ELMがクラス条件付き分布をよりガウス分布に近づけることで、ベイズ最適分類器の近似をより良くするという結果が得られた。