[論文レビュー] A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen, Simon Kornblith+2 more|arXiv (Cornell University)|Feb 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 60被引用数 7,315

ひとこと要約

SimCLR は、対照学習損失、強力なデータ拡張、大規模バッチ訓練を用いた自己教師付き視覚表現学習のための、単純で拡張性のあるフレームワークを提示し、特化したアーキテクチャやメモリバンクを用いずに ImageNet の線形評価で最先端を達成します。

ABSTRACT

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

研究の動機と目的

• supervisory labels なしで効果的な自己教師付き視覚表現の必要性を動機づける。
• 対照学習フレームワークのどの要素が高品質な表現を可能にするかを系統的に研究する。
• データ拡張、非線形プロジェクションヘッド、訓練ダイナミクスが性能に与える影響を示す。
• より大きなバッチサイズと長い訓練が、教師あり学習に対して対照学習を改善することを示す。
• 自己教師付き、半教師付き、教師付きのベースラインを ImageNet および転移データセットで比較する実証的証拠を提供する。

提案手法

• 4つの要素からなる単純な対照フレームワーク（SimCLR）を定義する：確率的データ拡張、基盤エンコーダ f(·)、非線形プロジェクションヘッド g(·)、対照損失（NT-Xent）。
• 各例の2つの相関ビューをランダム拡張を通して使用し、2つのビューの投影表現 z_i と z_j の一致をコサイン類似度と温度パラメータ τ で最大化する。
• 表現を対照空間に写像する小さな MLP のような非線形プロジェクションヘッドを用い、事前投影 h・linear 投影よりも利点を示すアブレーションを行う。
• 大規模バッチサイズ（256–8192）でメモリーバンクなしで訓練し、LARS 最適化子とデバイス間での同期バッチ正規化を用いる；凍結表現上で線形分類器を用いた線形評価プロトコルで評価する。
• データ拡張、プロジェクションヘッドのアーキテクチャ、損失関数、バッチサイズ、訓練長を系統的にアブレーションして、性能を支える要因を特定する。

実験結果

リサーチクエスチョン

• RQ1 対照学習のための予測タスクとして、どのデータ拡張の組み合わせが最も有益か。
• RQ2 Encoder 出力を直接使用するのではなく、非線形プロジェクションヘッドは下流の表現品質を改善するか。
• RQ3 バッチサイズ、訓練期間、最適化の選択は、教師あり学習と比較して対照学習の性能にどのように影響するか。
• RQ4 このフレームワークでの対照学習に適した最良の損失関数および正規化/温度設定は何か。
• RQ5 学習された表現は下流の認識タスクやデータセットへどのように転移するか。

主な発見

手法	アーキテクチャ	パラメータ (M)	Top 1	Top 5
Local Agg.	ResNet-50	24	60.2	-
MoCo	ResNet-50	24	60.6	-
PIRL	ResNet-50	24	63.6	-
CPC v2	ResNet-50	24	63.8	85.3
SimCLR (ours)	ResNet-50	24	69.3	89.0
SimCLR (ours)	ResNet-50 (2×)	94	74.2	92.0
SimCLR (ours)	ResNet-50 (4×)	375	76.5	93.2

• データ拡張の組成は重要で、ランダムクロップとカラーディストーションの組み合わせは、単一の拡張よりも表現を大幅に改善する。
• エンコーダの上に非線形プロジェクションヘッドを置く（z = g(h)）と、h や線形投影を用いる場合よりも線形評価の精度が大幅に改善される；事前投影表現 h はタスクに関連する情報を多く保持する。
• NT-Xent 損失の温度パラメータ τ を適切に設定することで、正規化された埋め込みと性能が重要になる。コサイン類似度を用いた NT-Xent の方が他の代替より優れている。
• より大きなバッチサイズと長い訓練はより多くのネガティブサンプルを提供し、収束を改善する。対照学習はスケールの恩恵を教師あり学習よりも多く受けやすい。
• SimCLR は ResNet-50（幅 4x）で線形評価を用いて ImageNet のトップ-1 精度 76.5% を達成し、教師あり ResNet-50 の性能と同等またはそれを上回る；1% のラベルで微調整した場合、トップ-5 の改善は ImageNet で 85.8% へ達する。転移と他データセットは多くのタスクで競争力ある、または優れた結果を示す。