[論文レビュー] Supervised Contrastive Learning

Prannay Khosla, Piotr Teterwak+7 more|arXiv (Cornell University)|Apr 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 62被引用数 117

ひとこと要約

この論文は、同じクラスのサンプルを陽性として利用する監視付き拡張学習である SupCon を導入し、ImageNet で最先端の結果と頑健性およびハイパーパラメータの安定性を向上させる。

ABSTRACT

Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the ImageNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement, and reference TensorFlow code is released at https://t.ly/supcon.

研究の動機と目的

• ラベル情報を活用して同一クラスの埋め込みを引き寄せ、異なるクラスを離す。
• セルフスーパービジョンのコントラスト損失を完全に監視下設定へ拡張し、アンカーごとに複数の陽性を使用する。
• 最も性能の良い監視付きコントラスト損失の定式化を分析・特定する。
• クロスエントロピーに対して ImageNet での最先端の結果と頑健性・安定性の改善を示す。

提案手法

• 各入力の2つのビューを作成するためにデータ拡張を適用する。
• 共有エンコーダでビューを符号化し、単位球上の正規化表現を得る。
• 表現を投影ネットワークを介して射影し、コントラスト学習のために射影を正規化する。
• 同じクラスから陽性を集約する2つの監視付きコントラスト損失の定式化を定義・比較する。
• 外部バッチの監視損失（L_out^sup）が内部バッチのバージョン（L_in^sup）よりも正規化効果と勾配構造のために優れていることを示す。
• 表現を評価するために2段階で学習する（コントラスト学習の事前学習と線形分類器） 。

実験結果

リサーチクエスチョン

• RQ1 SupCon の監視付きコントラスト損失は大規模データセットの ImageNet でクロスエントロピーを上回れるか。
• RQ2 アンカーごとに複数の陽性を取り入れることで同クラスの埋め込み空間でのクラスタリングを改善できるか。
• RQ3 さまざまな監視付きコントラスト損失の定式化は性能と学習安定性にどのように影響するか。
• RQ4 伝統的な監視損失と比べて SupCon は拡張（拡張、オプティマイザ、データ量）に頑健か。
• RQ5 SupCon の表現を他のデータセットやタスクへどの程度転送性があるか。

主な発見

• SupCon は ResNet-200 で ImageNet のトップ1精度 81.4%、そのアーキテクチャで前例の最先端より0.8ポイント高。
• SupCon は CIFAR-10、CIFAR-100、ImageNet の複数のアーキテクチャでクロスエントロピーや他のベースラインを上回る。
• SupCon は ImageNet-C の自然な劣化への頑健性を向上させ、ハイパーパラメータや拡張に対する感度が低いことを示す。
• 各アンカーにつき複数の陽性と多数のネガティブを使用することで勾配信号が改善され、ハードネガティブマイニングなしで効果的な学習を可能にする。
• 8192 メモリサイズとバッチサイズ256の設定で、ResNet-50 の ImageNet でトップ1 79.1% を達成し、メモリなしの6144 バッチのベースラインを上回る。
• 2段階目の学習（コントラスト学習事前学習と線形評価）により競争力のある結果を得られ、線形段階は最小で 10 エポックで実行可能。