[論文レビュー] Understanding Contrastive Learning via Distributionally Robust Optimization

Junkang Wu, Jiawei Chen+4 more|arXiv (Cornell University)|Oct 17, 2023

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本論文は分布的に頑健な最適化（DRO）を通じた対照学習を分析し、CLがネガティブサンプリング分布上のDROのように振る舞うことを示し、画像・文・グラフ領域全体で保守性と外れ値感度を緩和するためにADNCEを導入する。

ABSTRACT

This study reveals the inherent tolerance of contrastive learning (CL) towards sampling bias, wherein negative samples may encompass similar semantics (\eg labels). However, existing theories fall short in providing explanations for this phenomenon. We bridge this research gap by analyzing CL through the lens of distributionally robust optimization (DRO), yielding several key insights: (1) CL essentially conducts DRO over the negative sampling distribution, thus enabling robust performance across a variety of potential distributions and demonstrating robustness to sampling bias; (2) The design of the temperature $τ$ is not merely heuristic but acts as a Lagrange Coefficient, regulating the size of the potential distribution set; (3) A theoretical connection is established between DRO and mutual information, thus presenting fresh evidence for ``InfoNCE as an estimate of MI'' and a new estimation approach for $ϕ$-divergence-based generalized mutual information. We also identify CL's potential shortcomings, including over-conservatism and sensitivity to outliers, and introduce a novel Adjusted InfoNCE loss (ADNCE) to mitigate these issues. It refines potential distribution, improving performance and accelerating convergence. Extensive experiments on various domains (image, sentence, and graphs) validate the effectiveness of the proposal. The code is available at \url{https://github.com/junkangwu/ADNCE}.

研究の動機と目的

• CLがサンプリングバイアスに対してなぜ頑健であるかを動機づけ、温度パラメータτの役割を理解する。
• CLが φ-ダイバーンス（KL およびそれを超える）で制約されたネガティブサンプリング分布上のDROを実装していることを示す。
• DROと相互情報、InfoNCEをMI推定としての理論的な接点を確立する。
• DROの下でのCLの限界（過度の保守性、外れ値）を特定し、修正手法を提案する。

提案手法

• φ-ダイバーンス制約を持つネガティブサンプル上のDRO目的としてCL-DROを定式化する。
• KLベースのCL-DRO目的とInfoNCE損失を関連づけ、τをラグランジュ乗数として機能する温度として同定する。
• DROの副産物として分散制御を示すCL-DROの平均-分散解釈を導出する。
• ϕ-ダイバーンスに一般化して、ϕ-ダイバーンスベースの相互情報（Iϕ）とCL-DROを結びつける。
• 過度の保守性と外れ値への感度を低減するため、ガウス様の重みでネガティブを再重み付けしてADNCEを提案する。
• 画像・文章・グラフモダリティ全体で経験的検証を提供する。

実験結果

リサーチクエスチョン

• RQ1 なぜ対照学習はネガティブサンプルにおけるサンプリングバイアスに対して寛容なのか？
• RQ2 DROの観点から見たCLにおける温度τの正確な役割は何か？
• RQ3 CLの文脈でDROと相互情報はどのように結びつくのか？
• RQ4 過度の保守性と外れ値を緩和するようにネガティブ分布を調整したとき、CLは改善できるか？

主な発見

• CLはネガティブサンプリング分布上のDROを最適化し、サンプリングバイアスに対する堅牢性を向上させる。
• τは潜在分布集合のサイズ（頑健半径）を制御するラグランジュ係数として作用する。
• InfoNCEはϕ-ダイバーンスに基づく相互情報の厳密な変分形に関連し、MI推定を一般化する。
• 平均-分散の解釈は、CLがネガティブサンプルに分散正則化を導入し、安定性を高めることを示す。
• ADNCEは最悪ケース分布をガウス様の重みによって再配分し、過度の保守性と外れ値を減らし、領域を超えた収束性と性能を改善する。
• 画像・文・グラフのベンチマークでADNCEの有効性を実証する。