[論文レビュー] Contrastive Learning with Hard Negative Samples

Joshua Robinson, Ching-Yao Chuang+2 more|arXiv (Cornell University)|Oct 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 37

ひとこと要約

アンカーに埋め込みが近いネガティブを強調する、チューニング可能な教師なしのハードネガティブサンプリング手法をコントラスト学習に導入し、オーバーヘッドはゼロで理論的保証を提供します。

ABSTRACT

How can you sample good negative examples for contrastive learning? We argue that, as with metric learning, contrastive learning of representations benefits from hard negative samples (i.e., points that are difficult to distinguish from an anchor point). The key challenge toward using hard negatives is that contrastive methods must remain unsupervised, making it infeasible to adopt existing negative sampling strategies that use true similarity information. In response, we develop a new family of unsupervised sampling methods for selecting hard negative samples where the user can control the hardness. A limiting case of this sampling results in a representation that tightly clusters each class, and pushes different classes as far apart as possible. The proposed method improves downstream performance across multiple modalities, requires only few additional lines of code to implement, and introduces no computational overhead.

研究の動機と目的

• 対比表現学習を改善するためにハードネガティブサンプルの使用を動機づける。
• 真の類似性ラベルに依存せず、教師なしでチューニング可能なハードネガティブのサンプリング分布を開発する。
• 追加計算なしでネガティブを再重み付けする効率的な重要度サンプリングベースの学習目的を提供する。
• ハードネガティブサンプリング下の最適埋め込みを理論的に特徴づけ、超球面上のボールパッキングと関連づける。
• 画像・グラフ・テキストモダリティ全体で下流性能の改善を実証的に示す。

提案手法

• アンカーと現在高い類似性を持つネガティブを偏らせるネガティブサンプリング分布 q_beta^- を提案する： q_beta^-(x^-) ∝ e^{β f(x)^T f(x^-)} p(x^-), h(x) ≠ h(x^-) を条件とする。
• データサンプリングを変更せず、オーバーヘッドを追加せずにPU-learning分解と重要度サンプリングを用いて実用的なサンプリングを可能にするように q_beta を書き直す。
• 硬さバイアスを持つ目的関数を導出し、E_{x^- ~ q_beta}[e^{f(x)^T f(x^-)}] および E_{v ~ q_beta^+}[e^{f(x)^T f(v)}] のモンテカルロ推定を用い、分配関数 Z_beta および Z_beta^+ を含む。
• β が hardness を制御し、β → ∞ が超球面上のボールパッキングの定式化に結びつく最悪ケースのネガティブ分布に対応することを示す。
• ハードネガティブ下での最適な埋め込みに関する理論的結果と、それらが一般化および単純な1-NN分類器へ与える影響を提供する。

実験結果

リサーチクエスチョン

• RQ1 真の類似性ラベルがない場合、教師なしコントラスト学習はハードネガティブから利益を得られるか。
• RQ2 計算コストを増加させずに、情報量が多くアンカーに近いネガティブを強調するサンプリング分布をどう設計すべきか。
• RQ3 ハードネガティブサンプリングで学習された表現の理論的性質は何で、それが超球面上のクラスタリングとボールパッキングにどう関連するか。
• RQ4 提案手法は画像・グラフ・テキストモダリティの下流性能を向上させるか。

主な発見

データセット	SimCLR	Debiased	Hard (β=1)
tinyImageNet	53.4%	53.7%	57.0%

• ハードネガティブサンプリングは、画像・グラフ・テキストデータの下流タスク性能を複数のベースラインで向上させる。
• β>0 の提案された q_beta^- はネガティブを現在アンカーと類似しているものへ偏らせつつ、PU-learning分解を介して原則1（異なるラベル）を概ね維持する。
• β の増加はデバイアス化から対手的なハードネガティブへのスペクトラムを生み、β=1またはβ=2 がしばし基準より優れ、β のアニーリングはロバスト性を向上させる。
• 無限ネガティブサンプル極限では、最適な埋め込みは球面上のボールパッキング問題を解き、クラス代表をできるだけ離す。
• 実証結果は STL10, CIFAR100, tinyImageNet などのグラフ・文章ベンチマークで顕著な向上を示し、ハードネガティブを用いると訓練が速くなる（例: STL10 が 60 epoch、SimCLR は 400）。
• 検証構成の中で、デバイアス化と組み合わせたハードネガティブが STL10 で最良の線形読み出し性能をもたらす。