[論文レビュー] Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss

Jeff Z. HaoChen, Colin Wei+2 more|arXiv (Cornell University)|Jun 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 56被引用数 36

ひとこと要約

本論文は augmentation graphs（拡張グラフ）に基づくスペクトral contrastive loss を導入し、条件付き独立性を仮定せずに自己教師付き学習を分析し、下流の linear-probe に対する保証を示し、経験的性能が競合的であることを示す。

ABSTRACT

Recent works in self-supervised learning have advanced the state-of-the-art by relying on the contrastive learning paradigm, which learns representations by pushing positive pairs, or similar examples from the same class, closer together while keeping negative pairs far apart. Despite the empirical successes, theoretical foundations are limited -- prior analyses assume conditional independence of the positive pairs given the same class label, but recent empirical applications use heavily correlated positive pairs (i.e., data augmentations of the same image). Our work analyzes contrastive learning without assuming conditional independence of positive pairs using a novel concept of the augmentation graph on data. Edges in this graph connect augmentations of the same data, and ground-truth classes naturally form connected sub-graphs. We propose a loss that performs spectral decomposition on the population augmentation graph and can be succinctly written as a contrastive learning objective on neural net representations. Minimizing this objective leads to features with provable accuracy guarantees under linear probe evaluation. By standard generalization bounds, these accuracy guarantees also hold when minimizing the training contrastive loss. Empirically, the features learned by our objective can match or outperform several strong baselines on benchmark vision datasets. In all, this work provides the first provable analysis for contrastive learning where guarantees for linear probe evaluation can apply to realistic empirical settings.

研究の動機と目的

• 自己教師付きコントラスト学習が同一画像の拡張である正例ペアが高度に相関している場合にも機能する理由の理解を動機づける。
• 実用的な目的を定義するための母集団拡張グラフとスペクトral 分解フレームワークを導入する。
• 現実的な連結性仮定の下で、ラベルなしデータから学習された表現に対して下流の線形分類保証を証明する。
• 母集団スペクトral contrastive loss を最小化することで neural ネットワークによる最適化が可能で、母集団から有限サンプル設定へ一般化する。

提案手法

• すべての拡張データ上に母集団拡張グラフを定義し、エッジの重みを自然な例から拡張を生成する限界確率とする。
• 拡張グラフのスペクトral 分解に対応する母集団目的関数を定式化し、母集団スペクトral contrastive loss を導く。
• 固有ベクトルベースの目的を、ニューラル表現を含む扱いやすい loss に書き換え、定数まで同等のコントラスト風の目的と等価であることを示す。
• 母集団スペクトral contrastive loss を最小化して得られる表現が、接続性の仮定（過度に分離したクラスタがない）下で小さな線形プローブ誤差をもたらすことを証明する。
• ニューラルネットワークによる経験的最適化が標準的な一般化境界を介して母集団の保証を拡張することを主張する。

実験結果

リサーチクエスチョン

• RQ1 条件付き独立性を仮定せずにコントラスト学習の保証を導出できるか？
• RQ2 拡張グラフの構造が学習表現とそれらの下流タスクの線形分離性にどのような影響を及ぼすか？
• RQ3 多項式数のラベルなしサンプルで下流誤差が小さくなることを保証するスペクトral-contrastive 目的の条件は？
• RQ4 有限データを用いた実用的なニューラルネットワークで母集団スペクトral contrastive loss を実装・研究するにはどうすればよいか？

主な発見

• 拡張グラフの視点は、最小化解が意味のある固有ベクトルベースの埋め込みに対応するスペクトral contrastive loss を生み出す。
• 接続の分断されたサブグラフの数を制限する条件の下で、学習表現に対する線形分類は小さな誤差を達成する。
• 母集団 loss は標準的な一般化境界を介して有限サンプル学習へ転移を保証し、ラベルなしデータの要件はモデルの複雑さに対して多項式である。
• 経験的には、提案されたスペクトral contrastive loss は、線形プローブで評価した場合、強力なベースラインと同等またはそれを上回る。
• このアプローチはストップグラデント tricks に依存せず、既存のコントラスト手法と競合力を保つ。