[論文レビュー] Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification

Peng Wang, Kai Han+3 more|arXiv (Cornell University)|Mar 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 17

ひとこと要約

本論文は、長尾画像分類のためのハイブリッドディープラーニングフレームワークを提案する。教師付き対照学習と交差エントロピー損失を組み合わせ、カリキュラムを介して段階的に特徴抽出学習から分類器学習へ移行することで、特徴の凝縮性とクラス間分離性を向上させ、特に高い不均衡比下でも最先端の精度を達成する。

ABSTRACT

Learning discriminative image representations plays a vital role in long-tailed image classification because it can ease the classifier learning in imbalanced cases. Given the promising performance contrastive learning has shown recently in representation learning, in this work, we explore effective supervised contrastive learning strategies and tailor them to learn better image representations from imbalanced data in order to boost the classification accuracy thereon. Specifically, we propose a novel hybrid network structure being composed of a supervised contrastive loss to learn image representations and a cross-entropy loss to learn classifiers, where the learning is progressively transited from feature learning to the classifier learning to embody the idea that better features make better classifiers. We explore two variants of contrastive loss for feature learning, which vary in the forms but share a common idea of pulling the samples from the same class together in the normalized embedding space and pushing the samples from different classes apart. One of them is the recently proposed supervised contrastive (SC) loss, which is designed on top of the state-of-the-art unsupervised contrastive loss by incorporating positive samples from the same class. The other is a prototypical supervised contrastive (PSC) learning strategy which addresses the intensive memory consumption in standard SC loss and thus shows more promise under limited memory budget. Extensive experiments on three long-tailed classification datasets demonstrate the advantage of the proposed contrastive learning based hybrid networks in long-tailed classification.

研究の動機と目的

• 歪んだデータ分布に起因するバイアスがかかる分類器の課題に対処すること。
• 長時間不均衡な設定下で、教師付き対照学習が交差エントロピー損失よりもより判別性の高い特徴を生成できるかどうかを調査すること。
• 限られたGPUメモリ予算においても適応可能な、メモリ効率の良い対照学習戦略を設計すること。
• 特徴学習から分類器学習へのカリキュラムベースの移行を用いて、特徴と分類器を共同で訓練することで分類器の性能を向上させること。
• より良い特徴が長尾状況下でより良い分類器をもたらすことを実証すること。

提案手法

• 特徴学習のための教師付き対照（SC）損失と分類器学習のための交差エントロピー損失を同時に最適化するハイブリッドネットワークを導入する。
• 特徴学習（SC損失が支配的）から分類器学習（交差エントロピー損失が支配的）へ段階的に移行するカリキュラム学習戦略を採用する。
• 明示的な陽性／陰性サンプリングをクラスプロトタイプに置き換えるプロトタイプ型教師付き対照（PSC）損失を提案し、メモリ消費を削減する。
• ℓ₂正規化された特徴量とプロトタイプを用いることで、特徴のノルムをクラス頻度から分離し、安定性を向上させる。
• PSC損失の勾配を導出し、陽性クラスの類似度に対しては一定の勾配を、陰性クラスの類似度に対しては顕著な勾配を発生させることで、クラス間分離性を強化する。
• PSC損失を用いることで、過学習が顕著になるテイルクラスの過剰サンプリングを緩和しつつ、強力な判別能力を維持する。

実験結果

リサーチクエスチョン

• RQ1 長尾画像分類において、教師付き対照学習は交差エントロピー損失よりも特徴をより凝縮的かつ分離可能にできるか？
• RQ2 カリキュラムベースの共同訓練戦略は、2段階訓練に比べて分類器の精度を上回るか？
• RQ3 プロトタイプ型対照損失は、長尾設定下で特徴品質を損なわずにメモリ消費を削減できるか？
• RQ4 限られたGPUメモリ予算下で、PSC損失は標準的なSC損失よりも効果的か？
• RQ5 対照損失による改善された特徴学習は、下流の分類性能を顕著に向上させるか？

主な発見

• カリキュラム学習を組み込んだ提案されたハイブリッドネットワークは、不均衡比10の長尾CIFAR-100で63.05%の精度を達成し、ベースラインのCE-CE手法（59.14%）を顕著に上回った。
• ハイブリッド-SCモデルは、長尾CIFAR-100（不均衡比10）で46.72%の精度を達成し、2段階SCベースライン（42.73%）およびカリキュラムなしのハイブリッド-SC（42.58%）を上回った。
• PSCバージョンは、長尾CIFAR-100（不均衡比10）で44.91%の精度を達成し、メモリ制限下でもSCの代替として有効であることを示した。
• ハイブリッドフレームワーク内で対照損失を交差エントロピー損失に置き換えると、精度は63.05%から59.14%に低下し、不均衡データ下での有効な特徴学習には対照学習が不可欠であることを証明した。
• カリキュラムベースの共同訓練戦略は、2段階訓練および固定重みの共同訓練よりも顕著に性能を向上させ、段階的学習の価値を確認した。
• PSC損失は陰性クラスプロトタイプに対して顕著な勾配を発生させ、陽性クラスの類似度に対しては一定の勾配を発生させ、過学習の低減とクラス間分離性の向上に寄与した。