[論文レビュー] Reverse Engineering Self-Supervised Learning

Ido Ben-Shaul, Ravid Shwartz-Ziv+3 more|arXiv (Cornell University)|May 24, 2023

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本論文は自己教師あり学習（SSL）表現を経験的に分析し、SSLが正則化によって駆動される意味的クラスタリングとデータ圧縮を誘導し、ラベルにアクセスせずに訓練を行っても層と階層を超えて意味的整合が改善することを示している。

ABSTRACT

Self-supervised learning (SSL) is a powerful tool in machine learning, but understanding the learned representations and their underlying mechanisms remains a challenge. This paper presents an in-depth empirical analysis of SSL-trained representations, encompassing diverse models, architectures, and hyperparameters. Our study reveals an intriguing aspect of the SSL training process: it inherently facilitates the clustering of samples with respect to semantic labels, which is surprisingly driven by the SSL objective's regularization term. This clustering process not only enhances downstream classification but also compresses the data information. Furthermore, we establish that SSL-trained representations align more closely with semantic classes rather than random classes. Remarkably, we show that learned representations align with semantic classes across various hierarchical levels, and this alignment increases during training and when moving deeper into the network. Our findings provide valuable insights into SSL's representation learning mechanisms and their impact on performance across different sets of classes.

研究の動機と目的

• SSLで訓練された表現が、サンプルの拡張と意味的クラスに関してどのようにクラスタリングされるかを調べる。
• クラスタリングを促進する正則化と不変性の役割を比較検討する。
• SSL表現が階層的レベルを跨いで意味的クラスに整合するかを評価する。
• 訓練中にネットワークの層を跨ってクラスタリングと意味的整合がどのように進化するかを検討する。

提案手法

• 標準的な拡張を用いて CIFAR-100 上で SSLモデル（例：VICReg）を訓練する。\n最近傍クラス中心（NCC）精度とクラス分散指標（CDNV）によってクラスタリングを測定する。\n訓練エポックにわたるサンプルレベルと意味クラスのクラスタリングダイナミクスを分析する。\nSSL損失を不変性成分と正則化成分に分解して影響を評価する。\n訓練中の入力と埋め込みの相互情報量を推定する（MINE）。\n線形プローブの性能と層ごとの階層的クラスタリングを評価する（サンプル、100クラス、20スーパークラスを対象）。
• RES-L-H バックボーンを用い、 VICReg 実験には2層のMLPプロジェクションヘッドを使用する。
• 結果を文脈化するために、データ拡張有無で教師ありクラスタリングとSSLクラスタリングを比較する。
• 意味的有意性の異なるターゲットラベルを作成してターゲットのランダム性を探究し、学習を追跡する。
• 中間層を検討して、階層的意味ターゲットが深さとともにどのように捉えられるかを判断する。

Figure 1 : SSL training induced semantic clustering. UMAP visualization of the SSL representations before and after training in different hierarchies. (top) Augmentations of five different samples, each sample colored distinctly. (middle) Samples from five different classes within the standard CIFAR

実験結果

リサーチクエスチョン

• RQ1 SSLで訓練された表現は、拡張だけでなく意味的クラスに関してデータをクラスタリングするか。
• RQ2 SSLにおける正則化項が意味的クラスタリングと情報圧縮を促進する役割は何か。
• RQ3 訓練が進行するにつれて、そしてネットワークを深く進むにつれて意味的ターゲットへの整合はどう進化するか。
• RQ4 層を跨って、SSL表現は階層的クラス構造（サンプル、元のクラス、スーパークラス）を学習し反映できるか。
• RQ5 ターゲットのランダム性は、SSL表現が意味構造と整合する能力にどのように影響するか。

主な発見

• SSLの訓練は、拡張サンプルを平均埋め込みの周りに強いクラスタリングを誘発し、後の訓練段階で意味的クラスによるクラスタリングがより進行する。
• 意味的クラスタリングと下流の線形精度の改善は主に正則化によって生じ、不変性は初期に飽和する。
• 表現は階層全体で意味的クラスと高い整合性を示すが、SSL訓練中はラベル情報がなくてもそうである。
• 意味的クラスへのクラスタリングは深い層ほど改善し、深い層は元のクラスより高レベルの階層（スーパークラス）をよりよく捉える。
• 入力と埋め込み間の相互情報量は訓練を重ねるにつれて減少し、暗黙の情報圧縮を示している。
• SSLモデルはサンプルレベルでニューラル崩壊様のセントロイド構造を示し、持続的な意味的クラスタリングが訓練を重ねるにつれて強化される。

Figure 6 : SSL algorithms cluster the data with respect to semantic targets. (right) The results in Figure 2 . (left) The unnormalized version of the same results.