[論文レビュー] Semi-supervised Contrastive Learning with Similarity Co-calibration

Yuhang Zhang, Xiaopeng Zhang+4 more|arXiv (Cornell University)|May 16, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、限られたラベル付きデータで表現学習を向上させるために、交差エントロピー枝と対照的損失枝の予測を共同で補正する、新しいエンドツーエンドフレームワークである半教師付き対照学習（SsCL）を提案する。疑似ラベルと類似度埋め込みを相互に交換することで、SsCLは1%のラベル付きデータのみでImageNetで60.2%のトップ1精度を達成し、先行する半教師ありおよび自己教師あり手法を著しく上回る性能を示す。

ABSTRACT

Semi-supervised learning acts as an effective way to leverage massive unlabeled data. In this paper, we propose a novel training strategy, termed as Semi-supervised Contrastive Learning (SsCL), which combines the well-known contrastive loss in self-supervised learning with the cross entropy loss in semi-supervised learning, and jointly optimizes the two objectives in an end-to-end way. The highlight is that different from self-training based semi-supervised learning that conducts prediction and retraining over the same model weights, SsCL interchanges the predictions over the unlabeled data between the two branches, and thus formulates a co-calibration procedure, which we find is beneficial for better prediction and avoid being trapped in local minimum. Towards this goal, the contrastive loss branch models pairwise similarities among samples, using the nearest neighborhood generated from the cross entropy branch, and in turn calibrates the prediction distribution of the cross entropy branch with the contrastive similarity. We show that SsCL produces more discriminative representation and is beneficial to few shot learning. Notably, on ImageNet with ResNet50 as the backbone, SsCL achieves 60.2% and 72.1% top-1 accuracy with 1% and 10% labeled samples, respectively, which significantly outperforms the baseline, and is better than previous semi-supervised and self-supervised methods.

研究の動機と目的

• ImageNetのような大規模データセットにおいて、ノイズが多く代表的でないラベルの影響により、交差エントロピーに基づく半教師あり学習の性能向上が限定的になる問題に対処すること。
• タスクに依存しない自己教師あり事前学習を避けるために、対照的学習にクラス固有の事前知識を統合することで表現学習を向上させること。
• 自己訓練ベースの半教師あり学習における局所最適解やモデル崩壊を、2つの損失枝間の共同補正メカニズムを導入することで克服すること。
• 適応的損失重み付け、自己-paced学習、データ混合を用いて、クラス固有のサンプルを強化することで、少サンプル一般化性能を向上させること。

提案手法

• 交差エントロピー枝からの予測を用いて対照的枝での正例マイニングを誘導し、逆にその予測を精緻化する、交互に予測を補正する共同補正メカニズムを導入する。
• アーキテクチャの中心となる対照的損失を拡張し、1つのアーキテクチャに対して複数の正例を許容するようにし、特徴量をクラスプロトタイプに引き寄せる。これにより、識別性の高い表現が得られる。
• 類似度の信頼度に基づいて損失重みを動的に調整する自己-paced学習戦略を適用し、初期学習段階でのノイズの影響を低減する。
• 訓練中に真のラベル付きサンプルと類似したサンプルを混合するデータ混合戦略を採用し、クラス固有の特徴を安定的かつ滑らかに強化する。
• 学習可能な損失重み（λ_ctr, λ_cls）を用いて、エンドツーエンドで交差エントロピー損失と対照的損失を同時に最適化し、動的バランスを実現する。
• 訓練の安定化と特徴クラスタリングの向上を図るため、温度スケーリング（τ）とマージンに基づく対照的損失（m）を適用する。

Figure 1: Comparisons between cross-entropy based semi-supervised learning and our proposed SsCL. The highlight is that we co-calibrate the predictions over the two branches and jointly train the two objectives in an end-to-end way.

実験結果

リサーチクエスチョン

• RQ1 交差エントロピー学習枝と対照的学習枝の間で予測を共同補正することで、半教師あり学習における一般化性能が向上するか？
• RQ2 対照的学習にクラス固有の事前知識を統合することで、タスクに依存しない自己教師あり事前学習よりも優れた表現が得られるか？
• RQ3 共同補正メカニズムにより、自己訓練ベースの半教師あり学習における局所最適解やモデル崩壊が緩和されるか？
• RQ4 ImageNetにおいて極端にラベルが少ない状況、例えば1%または10%のラベル付きデータ下で、本手法はどの程度の性能を示すか？
• RQ5 対照的学習の統合が、少サンプル転移学習性能にどの程度寄与するか？

主な発見

• ResNet-50を用いたImageNetでは、SsCLは1%のラベル付きデータのみで60.2%のトップ1精度を達成し、既存の半教師ありおよび自己教師あり手法を著しく上回る。
• 10%のラベル付きデータを用いた場合、SsCLはImageNetで72.1%のトップ1精度を達成し、中程度のラベル不足下でも優れた性能を示す。
• 線形評価転移学習において、SsCLはすべての4つのベンチマークデータセット（CIFAR-10/100、FGVC-Aircraft、Stanford Cars）で自己教師ありベースライン（SimCLR、MoCo v2）を上回る。
• 微調整転移学習において、SsCLは大多数のデータセットで教師ありベースラインを上回り、学習済み表現の優れた転送可能性を示している。
• t-SNE可視化により、SsCLの特徴量はMoCo v2に比べてよりコンパクトで識別性に優れていることが確認されたが、完全教師ありの特徴量に比べるとわずかに劣る。
• アブレーションスタディの結果、共同補正と適応的損失重み付けが、特にノイズの多い初期学習段階で性能向上に顕著に寄与することが示された。

Figure 2: An overview of our proposed semi-supervised contrastive learning framework. Different from traditional contrastive learning in unsupervised paradigm, the few shot labeled data is utilized for contrastive learning, which targets at learning more discriminative representation in an end-to-en