[論文レビュー] Understanding Deep Contrastive Learning via Coordinate-wise Optimization

Yuandong Tian|arXiv (Cornell University)|Jan 29, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、表現学習をネットワーク重み（最大化プレイヤー）とサンプル対の重要度重み（最小化プレイヤー）の間のミニマックスゲームとして扱う、対照的学習のための統一的座標最適化フレームワークである\alpha-CLを提案する。固定された\alphaのもとで、最大化プレイヤーの最適化が深層線形ネットワークにおいてPCAと同等であることを証明し、2層ReLUネットワークへと拡張。直交混合データ下ではランク1でない解が出現し、CIFAR-10、STL-10、CIFAR-100でInfoNCEを上回る新たな対照的損失関数を提案する。

ABSTRACT

We show that Contrastive Learning (CL) under a broad family of loss functions (including InfoNCE) has a unified formulation of coordinate-wise optimization on the network parameter $\boldsymbolθ$ and pairwise importance $α$, where the \emph{max player} $\boldsymbolθ$ learns representation for contrastiveness, and the \emph{min player} $α$ puts more weights on pairs of distinct samples that share similar representations. The resulting formulation, called $α$-CL, unifies not only various existing contrastive losses, which differ by how sample-pair importance $α$ is constructed, but also is able to extrapolate to give novel contrastive losses beyond popular ones, opening a new avenue of contrastive loss design. These novel losses yield comparable (or better) performance on CIFAR10, STL-10 and CIFAR-100 than classic InfoNCE. Furthermore, we also analyze the max player in detail: we prove that with fixed $α$, max player is equivalent to Principal Component Analysis (PCA) for deep linear network, and almost all local minima are global and rank-1, recovering optimal PCA solutions. Finally, we extend our analysis on max player to 2-layer ReLU networks, showing that its fixed points can have higher ranks.

研究の動機と目的

• 対照的損失関数の多様な形式を、単一の最適化フレームワークで統一すること。
• 深層線形ネットワークおよびReLUネットワークにおける表現学習者（最大化プレイヤー）の学習ダイナミクスを分析すること。
• 対照的学習と主成分分析（PCA）との理論的関連を確立すること。
• \alpha-CLフレームワークを用いて、既存手法を上回る新たな対照的損失関数を設計すること。
• ReLUのような非線形性が、対照的学習における学習された表現のランクと構造にどのように影響するかを理解すること。

提案手法

• 最大化プレイヤーがネットワークパラメータ\thetaを最適化して対照性を最大化し、最小化プレイヤーが異なるサンプルの類似表現に注目するためのペairワイズ重要度重み\alphaを最適化する、ミニマックス座標最適化の定式化を提案する。
• 対照的学習をエネルギー関数\mathcal{E}_\alpha(\bm{\theta})から正則化項\mathcal{R}(\alpha)を引いた最適化問題として再定式化し、損失関数をゲーム理論的視点と結びつける。
• 深層線形ネットワークにおいて、固定された\alphaのもとで、最大化プレイヤーの目的関数がPCAと同等であることを証明。すべての局所的最小値がグローバル最小値であり、ランク1である。
• 2層ReLUネットワークにおける直交混合データ下での解析を可能にするために、1層目の重みの非負性を保つ「スティッキー重みルール」を導入。
• ReLUネットワークにおける最大化プレイヤーが、ランク1のPCAよりも高いランクの解を達成できる条件を導出。
• \alphaに異なる正則化項を適用することで、新たな対照的損失関数を構築し、CIFAR-10、STL-10、CIFAR-100で最先端の性能を達成することで、フレームワークの有効性を実験的に検証。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク重みとサンプル対の重要度重みを含む、単一の座標最適化フレームワークで対照的学習を統一できるか？
• RQ2 深層線形ネットワークにおける対照的学習の表現学習目的は、PCAに対応するか？
• RQ3 ReLUのような非線形活性化関数は、対照的学習における解空間を線形ネットワークと比較してどのように変化させるか？
• RQ4 \alphaにおける最小化プレイヤーの最適化により、InfoNCEを越える新たな効果的な対照的損失関数が生成可能か？
• RQ5 \alpha-CLフレームワーク下で、2層ReLUネットワークにおける最適解のランク構造はいかなるものか？

主な発見

• 固定された\alphaのもとで、深層線形ネットワークにおける最大化プレイヤーの最適化はPCAと同等であり、すべての局所的最小値がグローバル最小値であり、ランク1である。このとき、最適PCA解が達成される。
• 直交混合データを前提とした2層ReLUネットワークでは、解が必ずしもランク1ではない。ネットワークはより高いランクの表現を学習可能である。
• 本フレームワークにより、\alphaに異なる正則化項を適用することで、CIFAR-10、STL-10、CIFAR-100でInfoNCEと同等またはそれ以上の性能を達成する新たな対照的損失関数を設計可能である。
• ReLUの場合、スティッキー重みルールにより、1層目の重みが非負であり、ゼロに収束しないことが保証され、構造的性質が維持される。
• 複数のデータモードが存在する場合、\alpha-CLにおける重み付き共分散行列の最大固有ベクトルには、常に少なくとも1つの負の成分が含まれる。これは非自明な解構造を示している。
• 実験的結果から、新しい正則化項を用いた本稿の\alpha-CLフレームワークが、標準ベンチマークで最先端の性能を達成しており、理論的知見の妥当性が裏付けられている。