[論文レビュー] Supervised Contrastive Learning with Hard Negative Samples

Ruijie Jiang, Thuan Nguyen+2 more|arXiv (Cornell University)|Aug 31, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、ラベル情報とハードネガティブサンプリングを組み合わせることで表現学習を向上させる、ハードネガティブな教師付き対照学習（H-SCL）という対照学習フレームワークを提案する。H-SCLは、画像ベンチマークにおいてSCLおよびH-UCLを上回る性能を示し、理論的にH-SCL損失がH-UCL損失によって上界で抑えられることを示し、H-UCLがUCLを上回る実験的優位性を説明する。

ABSTRACT

Through minimization of an appropriate loss function such as the InfoNCE loss, contrastive learning (CL) learns a useful representation function by pulling positive samples close to each other while pushing negative samples far apart in the embedding space. The positive samples are typically created using "label-preserving" augmentations, i.e., domain-specific transformations of a given datum or anchor. In absence of class information, in unsupervised CL (UCL), the negative samples are typically chosen randomly and independently of the anchor from a preset negative sampling distribution over the entire dataset. This leads to class-collisions in UCL. Supervised CL (SCL), avoids this class collision by conditioning the negative sampling distribution to samples having labels different from that of the anchor. In hard-UCL (H-UCL), which has been shown to be an effective method to further enhance UCL, the negative sampling distribution is conditionally tilted, by means of a hardening function, towards samples that are closer to the anchor. Motivated by this, in this paper we propose hard-SCL (H-SCL) {wherein} the class conditional negative sampling distribution {is tilted} via a hardening function. Our simulation results confirm the utility of H-SCL over SCL with significant performance gains {in downstream classification tasks.} Analytically, we show that {in the} limit of infinite negative samples per anchor and a suitable assumption, the {H-SCL loss} is upper bounded by the {H-UCL loss}, thereby justifying the utility of H-UCL {for controlling} the H-SCL loss in the absence of label information. Through experiments on several datasets, we verify the assumption as well as the claimed inequality between H-UCL and H-SCL losses. We also provide a plausible scenario where H-SCL loss is lower bounded by UCL loss, indicating the limited utility of UCL in controlling the H-SCL loss.

研究の動機と目的

• 標準的な教師付き対照学習（SCL）とハードネガティブな非教師付き対照学習（H-UCL）の間の性能格差を解消すること、これはH-UCLの実験的優位性にもかかわらずである。
• ラベル情報とハードネガティブサンプリングを統合した統一フレームワークを構築し、表現学習を向上させること。
• H-UCLがUCLを上回る理由を理論的に正当化すること。具体的には、H-SCL損失がH-UCL損失によって上界で抑えられることを示し、UCL損失によっては抑えられないことの証明を行う。
• UCL、H-UCL、SCL、H-SCLを明確に統一的に比較し、それらの関係性と相違点を明確にすること。

提案手法

• クラスラベルを用いてポジティブペアを定義し、埋め込み類似度に基づいてハードネガティブを特定する対照学習目的関数H-SCLを提案する。
• 温度スケーリングされた対照学習損失に、ハードネガティブを強く重み付けるための硬さパラメータβを導入する。
• 表現学習に標準的なResNet-50バックボーンと128次元のプロジェクションヘッドを採用する。
• ミニバッチ内からの負例選択に基づく負例サンプリング分布のバッチベース近似を採用する。
• 損失関数内の硬さ重み付けを最適化するため、β ∈ {0.1, 0.5, 1, 2, 5} のグリッドサーチを実施する。
• 事前学習後に表現関数を固定し、線形分類器ヘッドを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベル情報とハードネガティブサンプリングを組み合わせることで、標準的なSCLおよびH-UCLを上回る対照学習性能が達成可能か？
• RQ2 H-SCL損失とH-UCL損失の間には理論的関係があり、H-UCLの実験的優位性を説明できるか？
• RQ3 H-SCL目的関数は、UCL目的関数よりもH-SCL損失を最小化するためのより良いプロキシを提供するか？
• RQ4 硬さパラメータβがH-SCLフレームワークの最適化および一般化にどのように影響するか？

主な発見

• CIFAR100ではH-SCLがトップ-1正解率75.11%を達成し、SCL（71.68%）およびH-UCL（67.77%）を3ポイント以上上回った。
• STL10ではH-SCLが72.52%の正解率を達成し、SCLに対して4.24%、H-UCLに対して4.70%の向上を示した。
• H-SCLはSCLが200エポックで達成する性能を50エポック未満で達成したため、収束が著しく速いことが示された。
• 理論的分析により、特定の条件下でH-SCL損失がH-UCL損失によって上界で抑えられることを確認したが、UCL損失によっては抑えられなかった。
• 図4の実験結果から、異なるβ値においてH-SCL損失が常にH-UCL損失によって上界で抑えられることを確認し、理論的境界の妥当性を裏付けた。
• 重要な不等式（17）の左辺平均は1.44であり、右辺平均の0.99よりも顕著に大きいことから、仮定1の妥当性が支持された。