[論文レビュー] Balanced Contrastive Learning for Long-Tailed Visual Recognition

Jianggang Zhu, Zheng Wang+3 more|arXiv (Cornell University)|Jul 19, 2022

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

本稿では、表現空間における正則単体構成を強制することで、長尾データにおける教師付き対照学習の偏った最適化を是正する、新しい対照学習手法であるバランス型対照学習（BCL）を提案する。クラス補完とクラス平均化を導入することで、すべてのクラスにわたる勾配更新がバランスされる。これにより、尾部クラスの性能が著しく向上するとともに、ヘッドクラスの精度も向上し、ImageNet-LTおよびiNaturalist2018ベンチマークで最先端の結果を達成する。

ABSTRACT

Real-world data typically follow a long-tailed distribution, where a few majority categories occupy most of the data while most minority categories contain a limited number of samples. Classification models minimizing cross-entropy struggle to represent and classify the tail classes. Although the problem of learning unbiased classifiers has been well studied, methods for representing imbalanced data are under-explored. In this paper, we focus on representation learning for imbalanced data. Recently, supervised contrastive learning has shown promising performance on balanced data recently. However, through our theoretical analysis, we find that for long-tailed data, it fails to form a regular simplex which is an ideal geometric configuration for representation learning. To correct the optimization behavior of SCL and further improve the performance of long-tailed visual recognition, we propose a novel loss for balanced contrastive learning (BCL). Compared with SCL, we have two improvements in BCL: class-averaging, which balances the gradient contribution of negative classes; class-complement, which allows all classes to appear in every mini-batch. The proposed balanced contrastive learning (BCL) method satisfies the condition of forming a regular simplex and assists the optimization of cross-entropy. Equipped with BCL, the proposed two-branch framework can obtain a stronger feature representation and achieve competitive performance on long-tailed benchmark datasets such as CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, and iNaturalist2018. Our code is available at https://github.com/FlamieZhu/BCL .

研究の動機と目的

• クラスの不均衡によって引き起こされる、長尾データにおける教師付き対照学習（SCL）の劣悪な表現学習を是正すること。
• SCLが長尾設定において正則単体構成を形成できない理由を分析すること。
• 各クラスの勾配寄与をバランスさせ、ミニバッチ内での等しいクラス表現を保証する対照損失を設計すること。
• BCLをロジット補正付き交差エントロピーと統合し、不均衡データにおける表現学習と分類の両方をバランスさせる二本のブランチからなるフレームワークを構築すること。
• ImageNet-LTおよびiNaturalist2018を含む長尾ベンチマークで最先端の性能を達成すること。

提案手法

• BCLは、各ミニバッチにクラス中心プロトタイプを負例サンプルとして含めることで、クラス補完を導入し、すべてのクラスがトレーニング中に登場することを保証する。
• BCLはクラス平均化を適用し、ミニバッチ内における各クラスの負例サンプルの勾配寄与を正規化する。
• クラス補完とクラス平均化の組み合わせにより、対照損失の下界がクラスに依存しなくなり、表現空間に正則単体が形成可能になる。
• 二本のブランチからなるフレームワークを採用：一方のブランチではBCLによりバランスの取れた表現学習を実現し、もう一方のブランチではロジット補正付き交差エントロピーによりバランスの取れた分類を実現する。
• BCLとロジット補正を統合した共同目的関数により、エンドツーエンドで学習を行い、すべてのクラス頻度グループにおける一般化性能を向上させる。
• フレームワークは、CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、iNaturalist2018で評価され、標準的なResNetおよびResNeXtバックボーンが使用された。

実験結果

リサーチクエスチョン

• RQ1 なぜ教師付き対照学習は長尾データにおいて正則単体構成を形成できないのか？
• RQ2 データ分布におけるクラスの不均衡が、対照学習における学習済み表現の幾何的配置にどのように影響するか？
• RQ3 長尾データであっても、修正された対照損失がバランスの取れた正則単体構造を埋め込み空間に強制できるか？
• RQ4 各ミニバッチにおける勾配寄与のバランス化とクラスの存在確保が、ヘッドクラスおよびテールクラスの両方の性能向上に寄与するか？
• RQ5 バランス型対照学習とロジット補正を統合した統一フレームワークが、従来の最先端手法を凌駆できるか？

主な発見

• ImageNet-LTでは180エポックでトップ1精度57.1%を達成し、PaCo（56.0%）やDisAlign（52.9%）を上回った。
• iNaturalist2018では100エポックで全体のトップ1精度71.8%を達成し、RIDE（71.4%）やHybrid-PSC（68.1%）を上回った。
• ImageNet-LTでは180エポックで少サンプル精度が36.5%に向上し、Balanced Softmax（29.8%）やPaCo（33.7%）を著しく上回った。
• ImageNet-LTのマニーショットグループでは90エポックで67.2%の精度を達成し、RIDE（64.4%）やDisAlign（62.7%）を上回った。
• 本手法は、マニーショット、ミディアムショット、少サンプルのすべてのクラスグループで同時に性能向上を実現し、従来手法で見られるヘッドクラスとテールクラスの性能のトレードオフを回避した。
• 理論的分析により、BCLがクラスに依存しない下界を保証し、正則単体の形成を可能にすることが確認され、これは表現学習にとって最適であることが示された。