[論文レビュー] Targeted Supervised Contrastive Learning for Long-Tailed Recognition

Tianhong Li, Peng Cao+6 more|arXiv (Cornell University)|Nov 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 15

ひとこと要約

本論文は、超球面上に一様に分布するターゲットを生成し、訓練中にクラス特徴をこれらのターゲットに一致させることで、長尾分布の認識性能を向上させる、標的付き教師付き対照学習（TSC）を提案する。TSCは、特にマイノリティクラスにおいて特徴空間の均一性を向上させ、CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、iNaturalistの複数のデータセットで最先端の性能を達成し、データ分布の偏りに起因するバイアスを軽減する。

ABSTRACT

Real-world data often exhibits long tail distributions with heavy class imbalance, where the majority classes can dominate the training process and alter the decision boundaries of the minority classes. Recently, researchers have investigated the potential of supervised contrastive learning for long-tailed recognition, and demonstrated that it provides a strong performance gain. In this paper, we show that while supervised contrastive learning can help improve performance, past baselines suffer from poor uniformity brought in by imbalanced data distribution. This poor uniformity manifests in samples from the minority class having poor separability in the feature space. To address this problem, we propose targeted supervised contrastive learning (TSC), which improves the uniformity of the feature distribution on the hypersphere. TSC first generates a set of targets uniformly distributed on a hypersphere. It then makes the features of different classes converge to these distinct and uniformly distributed targets during training. This forces all classes, including minority classes, to maintain a uniform distribution in the feature space, improves class boundaries, and provides better generalization even in the presence of long-tail data. Experiments on multiple datasets show that TSC achieves state-of-the-art performance on long-tailed recognition tasks.

研究の動機と目的

• 長尾データ分布に起因する特徴空間の均一性の欠如を是正すること。
• ヘッドクラスのパフォーマンスを損なうことなく、不均衡データセットにおけるマイノリティクラスの一般化性能と分離性を向上させること。
• トレーニングデータの不均衡比に関わらず、バランスの取れた特徴分布を維持する手法を開発すること。
• クラス間の意味的類似性が特徴空間に保たれるように、適切な空間的位置にターゲットを一致させること。
• 既存の対照学習ベースラインを上回る安定的かつスケーラブルな長尾認識ソリューションを提供すること。

提案手法

• 一様性損失を最小化するため、確率的勾配降下法を用いて超球面上に最適な一様分布ターゲット点を生成する。
• クラス同士の意味的類似性を尊重するオンラインマッチング方式を用いて、各クラスをターゲット点に割り当てる。
• 各クラスの特徴が割り当てられたターゲットに収束するよう、対照損失を用いてモデルを訓練する。
• KCLと同様に、クラス内での一様性を向上させるバランスの取れたポジティブサンプリング戦略を適用するが、ターゲット一致による内生的バランスの恩恵により、その効果は限定的である。
• トレーニング中にクラスをターゲットに動的に割り当てるオンラインマッチングアルゴリズムを適用し、意味的構造を維持する。
• 複数のランダムシードで一様性損失を評価することで、ターゲット生成の安定性を確保し、変動が顕著でないことを示す。

Figure 1 : Test data feature distribution of (a) k-positive contrastive learning (KCL) and (b) TSC for three classes of CIFAR10 (plane, cat, dog), for different training data imbalance ratios $\rho$ . With high imbalance ratio, class centers learned by KCL exhibit poor uniformity while class centers

実験結果

リサーチクエスチョン

• RQ1 教師付き対照学習は、長尾データ分布下でも特徴空間の一様性を維持できるか。それとも、クラスの不均衡が一様性と一般化性能を低下させるか。
• RQ2 事前に定義された一様に分布するターゲットをクラスに割り当てることで、長尾認識における特徴空間の一様性とマイノリティクラスのパフォーマンスは向上するか。
• RQ3 オンラインマッチングによるクラスとターゲットの割り当ては、ランダムまたは固定のターゲット割り当てと比較して、意味的整合性とモデル一般化性能にどのように影響するか。
• RQ4 TSCは、ヘッドクラスの正確性を損なうことなく、テイルクラスのパフォーマンス劣化をどの程度軽減できるか。
• RQ5 異なるランダムシードやクラス数に対しても、ターゲット生成プロセスは安定的かつ頑健であるか。

主な発見

• CIFAR-10-LTでは、TSCが全体精度63.5%を達成し、KCL（52.4%）やFCL（51.8%）を上回る最先端の性能を示した。
• ImageNet-LTでは、マニーサンプルクラスで63.5%、ミディアムクラスで49.7%、フェイシュットクラスで30.4%、全体で52.4%の精度を達成し、KCLおよびFCLを上回った。
• TSCのオンラインマッチングアルゴリズムにより、リスクスコア（R）はランダム割り当て時の7.81から7.14に低下し、より良い一般化性能とよりバランスの取れた特徴学習が実現された。
• TSCは、極端な不均衡比（例：100:1:1）下でも特徴空間の一様性を維持するが、KCLはマイノリティクラス特徴の著しい崩壊を示した。
• ターゲット生成プロセスは安定しており、複数のランダムシード間で一様性損失の変動が3e-6未満にとどまり、頑健性が裏付けられた。
• バランスの取れたポジティブサンプリングの恩恵は、TSCではKCLほど顕著ではなく、ターゲット駆動型一致が内生的にクラス内一致をバランスさせることが示唆された。

Figure 2 : Illustration of TSC. It first computes the optimal targets for the class centers on the hypersphere. Then, during training, in each iteration, each target is assigned to the nearest class, and a targeted contrastive learning loss is designed to encourage the samples from each class to mov