[論文レビュー] InfoNCE Loss Provably Learns Cluster-Preserving Representations

Advait Parulekar, Liam Collins+3 more|arXiv (Cornell University)|Feb 15, 2023

AI in cancer detection被引用数 9

ひとこと要約

tldr: The paper proves that InfoNCE with finite negative samples learns cluster-preserving representations under cluster-intertwined augmentations, and gives downstream guarantees with simple heads. It also analyzes realizable and agnostic settings.

ABSTRACT

The goal of contrasting learning is to learn a representation that preserves underlying clusters by keeping samples with similar content, e.g. the ``dogness'' of a dog, close to each other in the space generated by the representation. A common and successful approach for tackling this unsupervised learning problem is minimizing the InfoNCE loss associated with the training samples, where each sample is associated with their augmentations (positive samples such as rotation, crop) and a batch of negative samples (unrelated samples). To the best of our knowledge, it was unanswered if the representation learned by minimizing the InfoNCE loss preserves the underlying data clusters, as it only promotes learning a representation that is faithful to augmentations, i.e., an image and its augmentations have the same representation. Our main result is to show that the representation learned by InfoNCE with a finite number of negative samples is also consistent with respect to clusters in the data, under the condition that the augmentation sets within clusters may be non-overlapping but are close and intertwined, relative to the complexity of the learning function class.

研究の動機と目的

• 対比学習の目的を、拡張によってデータのクラスターを保存することを動機づけ、形式化する。
• 有限個のネガティブでInfoNCEが境界付き関数クラスの下でクラスターを保存する表現を生み出すことを示す。
• クラスターを保存する表現に対して、シンプルなヘッドを用いた場合の下流パフォーマンス保証を提供する。
• realizable（実現可能性）と agnostic（アグノスティック）設定を対比し、InfoNCEがいつクラスター構造を改善するかを特徴づける。

提案手法

• 拡張集合を用いて、コンテンツ変数とスタイル変数として画像をモデル化する。
• 束縛された表現力を持つ関数クラスFと、離散化されたハイパーキューブ上の表現gをG=F^dとして定義する。
• InfoNCE損失を、整合性（正例項）と一様性（負例項）で形式化する。
• クリーンな分類器上でInfoNCEを最小化できないことを示すためのマルコフ連鎖ベースのブラーイング議論を導入する。
• realizability の下では、InfoNCEの最小化解はクラスターを保存し、かつ一様であることを証明する（定理4.5）。
• gを二層のReLUヘッドと組み合わせることで下流保証を分析する（定理4.6）し、制約のない表現クラスの限界を議論する（定理4.7）。
• delta-regularityを伴うアグノスティック設定へ拡張し、近似一様解がクラスター保存構造へ向けて強制されることを示す（定理5.4）。

実験結果

リサーチクエスチョン

• RQ1 有限個のネガティブサンプルを用いたInfoNCEは、各コンテンツクラスを異なる頂点へ写像するようなクラスター保存表現を生み出すか？
• RQ2 境界付き関数クラスと絡み合う拡張において、InfoNCEは均一でクラスター保存された表現まで最小化でき、シンプルなヘッドで下流誤差をゼロに保証できるか？
• RQ3 学習された表現に対して二層のReLUヘッドを用いた場合の下流影響は何か？
• RQ4 アグノスティック設定はInfoNCEがクラスター保存解を好む傾向にどのように影響するか？
• RQ5 表現クラスを無制約にするときの限界は何か？

主な発見

• bounded, cluster-aware 表現の最小化解は実現可能設定で一様かつクラスター保存的である。
• クラスター保存かつ一様な表現は、広範な二層ReLUヘッドを用いた場合の任意のクラスター保存2値タスクで下流誤差をゼロにする（下流タスクにおけるゼロ学習誤差）。
• 有限ネガティブを用いると、InfoNCE損失はマルコフ連鎖ブラーイング議論を介してクラスター保存構造を促進する。
• アグノスティック設定では、クラスター保存ではない近似一様表現は損失を最小化できず、delta-regularity によりクラスター保存解の優位性が担保される（定理5.4）。
• unrestricted表現クラスを許すと下流保証が不良になる可能性があることを示す対照点があり、有限表現性の必要性を例示する（定理4.7）。