[論文レビュー] Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR

Khoi Nguyen, Yen T. Nguyen+1 more|arXiv (Cornell University)|Aug 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 6

ひとこと要約

本論文は、対照的自己教師あり学習フレームワークであるSimCLRを用いて、半教師あり学習、転移学習、知識蒸留の検討を行う。転移学習の精度はクラス数の増加に伴い低下し、教師と生徒のモデルが同じアーキテクチャを持つ場合に知識蒸留の性能が向上することを示し、バッチサイズが大きくなると対照的学習の性能が向上することを明らかにした。これらは、ラベルが少ない環境における効率的なモデル圧縮とファインチューニングの実用的知見を提供する。

ABSTRACT

Recent breakthroughs in the field of semi-supervised learning have achieved results that match state-of-the-art traditional supervised learning methods. Most successful semi-supervised learning approaches in computer vision focus on leveraging huge amount of unlabeled data, learning the general representation via data augmentation and transformation, creating pseudo labels, implementing different loss functions, and eventually transferring this knowledge to more task-specific smaller models. In this paper, we aim to conduct our analyses on three different aspects of SimCLR, the current state-of-the-art semi-supervised learning framework for computer vision. First, we analyze properties of contrast learning on fine-tuning, as we understand that contrast learning is what makes this method so successful. Second, we research knowledge distillation through teacher-forcing paradigm. We observe that when the teacher and the student share the same base model, knowledge distillation will achieve better result. Finally, we study how transfer learning works and its relationship with the number of classes on different data sets. Our results indicate that transfer learning performs better when number of classes are smaller.

研究の動機と目的

• 対照的学習がSimCLRにおけるファインチューニング性能に与える影響を分析すること。
• 共有モデルアーキテクチャを用いた教師強制型パラダイムにおける知識蒸留の評価。
• データセットに含まれるクラス数と転移学習精度の関係を調査すること。
• データオーグメンテーションおよびバッチサイズが転移学習および知識蒸留に与える影響を検討すること。
• ラベルが少ないデータ環境におけるモデル圧縮および効率的なファインチューニングの実用的知見を提供すること。

提案手法

• データオーグメンテーション（クロップ、反転、色合いの変更、グレースケール化）を用いて、ImageNet上でSimCLRモデルを対照的学習により事前学習する。
• 同一画像の増幅画像同士の類似度（ポジティブペア）を最大化し、他の画像との類似度（ネガティブペア）を最小化するため、NT-Xent損失を適用する。
• エンコーダーを固定した後、線形分類器を用いて下流タスクで事前学習済みSimCLRモデルをファインチューニングする。
• 教師モデルが事前ファインチューニッシュされた後、その出力であるソフトラベルと正解ラベルの両方を用いて、より小さな生徒モデルに知識を転送する知識蒸留を実施する。
• 特徴抽出器を固定し、上部の全結合層を学習可能とするResNet50およびVGG16を生徒モデルとして採用する。
• 計算制約のためバッチサイズを固定して64に保ったまま、クラス数とバッチサイズが異なるデータセットにおける転移学習精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 SimCLRを用いた場合、データセットに含まれるクラス数が転移学習精度にどのように影響するか？
• RQ2 教師モデルと生徒モデルが同じ基本アーキテクチャを持つ場合、知識蒸留がより良い性能を示すか？
• RQ3 データオーグメンテーションは、対照的学習および下流タスクの転移性能にどのように影響するか？
• RQ4 バッチサイズは、SimCLRベースのファインチューニングにおける転移学習精度にどのような影響を及ぼすか？
• RQ5 少ないラベル例でのファインチューニングにおいて、なぜ大きなモデルが小さなモデルよりも優れた性能を示すのか？

主な発見

• 転移学習精度はクラス数と逆相関する：猫対犬（2クラス）では100%、tf_flowers（5クラス）では90.6%、DTD（47クラス）では65.6%、CIFAR-100（100クラス）では25%、Food-101（101クラス）では12.5%。
• 教師モデルと生徒モデルが同じベースアーキテクチャを持つ場合、知識蒸留による性能向上が顕著に見られ、アーキテクチャの一貫性が知識転送を促進することが示唆される。
• 大きなバッチサイズは転移学習精度を向上させるが、GPUメモリ制限のため実行はバッチサイズ64までに制限された。特にクラス数の多いデータセットで顕著な向上が観察された。
• 対照的学習はクラス数が少ないデータセットでより良好に機能する。これは、クラス多様性が低いとポジティブペアとネガティブペアの区別が容易になるためである。
• より大きなモデルは、少ないラベル例でのファインチューニングでより大きな向上を示す。これは、より大きな特徴探索空間のおかげで、より優れた判別特徴の選択が可能になるためと考えられる。
• SimCLRフレームワークは半教師あり学習において優れた性能を発揮し、特に大規模な未ラベルデータを対照的事前学習で活用することで、最先端の教師あり手法に匹敵する。