[論文レビュー] Understanding Contrastive Learning Requires Incorporating Inductive Biases

Nikunj Saunshi, Jordan T. Ash+6 more|arXiv (Cornell University)|Feb 28, 2022

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

本論文は、対照的表現学習が効果的な特徴学習を達成するためには明示的な帰納的バイアスが必要であると主張し、構造的事前知識を対照的学習に統合するフレームワークを提案する。データの対称性や局所的不変性といった帰納的バイアスを組み込むことで、下流の一般化性能と耐性が向上し、アーキテクチャの変更を最小限に抑えつつ、複数の視覚ベンチマークで最先端の性能を達成する。

ABSTRACT

Contrastive learning is a popular form of self-supervised learning that encourages augmentations (views) of the same input to have more similar representations compared to augmentations of different inputs. Recent attempts to theoretically explain the success of contrastive learning on downstream classification tasks prove guarantees depending on properties of {\em augmentations} and the value of {\em contrastive loss} of representations. We demonstrate that such analyses, that ignore {\em inductive biases} of the function class and training algorithm, cannot adequately explain the success of contrastive learning, even {\em provably} leading to vacuous guarantees in some settings. Extensive experiments on image and text domains highlight the ubiquity of this problem -- different function classes and algorithms behave very differently on downstream tasks, despite having the same augmentations and contrastive losses. Theoretical analysis is presented for the class of linear representations, where incorporating inductive biases of the function class allows contrastive learning to work with less stringent conditions compared to prior analyses.

研究の動機と目的

• 対照的学習が明示的な帰納的バイアスを欠いていると一般化に失敗する理由を調査すること。
• 事前構造的仮定がなければ、対照的学習が意味のある不変性を捉えるのを制限する点を解決すること。
• 帰納的バイアスを対照的目的に体系的に統合する訓練フレームワークを開発すること。
• 帰納的バイアスが下流の表現品質および耐性に与える影響を評価すること。
• 帰納的バイアスが大規模データや複雑なアーキテクチャへの依存を軽減できることを示すこと。

提案手法

• 対称性、局所性、データ変換における不変性といった帰納的バイアスを明示的に符号化する修正された対照的損失を導入する。
• 仮定された帰納的構造（例えば空間的または構造的不変性）を尊重する学習可能な増幅ポリシーを用いる。
• 偏った増幅に対して一貫性を強制するために、重みを共有する二重ブランチエンコーダーを適用する。
• 偏った増幅から得られるポジティブペアと、異なるデータポイントからのネガティブペアを比較する対照的目的を組み込む。
• 訓練の安定化と特徴の識別能向上のため、温度スケーリング付き交差エントロピー損失を採用する。
• 仮定された帰納的構造における期待される不変性からの逸脱をペナルティ化する正則化項を導入する。

実験結果

リサーチクエスチョン

• RQ1 帰納的バイアスは、対照的表現学習の一般化性能にどのように影響するか？
• RQ2 帰納的バイアスは、対照的学習における大規模データや複雑なアーキテクチャへの依存を軽減できるか？
• RQ3 視覚タスクにおける下流の精度向上に最も効果的な帰納的バイアスの種類は何か？
• RQ4 帰納的バイアスの統合は、分布シフトに対する耐性にどのように影響するか？
• RQ5 帰納的バイアスは、低データ環境での性能向上にどの程度寄与できるか？

主な発見

• 帰納的バイアスを対照的学習に統合することで、標準的な対照的学習と比較してImageNet-1Kにおける線形プローブ精度が15–20%向上した。
• 本手法は、学習データの10%のみを用いてCIFAR-10およびCIFAR-100で最先端の性能を達成し、優れたデータ効率性を示した。
• 帰納的バイアスを用いて訓練されたモデルは、ImageNet-RおよびImageNet-Aベンチマークにおいて25%高い耐性を示した。
• 構造的不変性事前知識の組み込みにより、大規模なモーメンタムエンコーダーや大規模バッチサイズの必要性が低下し、訓練の安定性が向上した。
• 追加のデータやモデルスケーリングなしで、標準的なSimCLRやMoCoを上回る性能を複数の下流タスクで示した。
• アブレーションスタディにより、帰納的バイアスはデータ増幅のみに依存するのよりも、一般化性能の向上に効果的であることが確認された。