[論文レビュー] Rethinking InfoNCE: How Many Negative Samples Do You Need?

Chuhan Wu, Fangzhao Wu+1 more|arXiv (Cornell University)|May 27, 2021

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

本稿では、ラベルノイズを伴う対照学習におけるInfoNCE損失の最適な負例サンプリング比$K$を推定するための準定量的理論枠組みを提案する。ラベルノイズの影響を考慮し、サンプルの情報量を測る訓練効果関数を導入し、訓練の各段階に応じて$K$を動的に調整する自己適応的負例サンプリング（ANS）手法を提案。この手法は、複数の現実世界のタスクにおいて固定$K$戦略を上回る性能を発揮する。

ABSTRACT

InfoNCE loss is a widely used loss function for contrastive model training. It aims to estimate the mutual information between a pair of variables by discriminating between each positive pair and its associated $K$ negative pairs. It is proved that when the sample labels are clean, the lower bound of mutual information estimation is tighter when more negative samples are incorporated, which usually yields better model performance. However, in many real-world tasks the labels often contain noise, and incorporating too many noisy negative samples for model training may be suboptimal. In this paper, we study how many negative samples are optimal for InfoNCE in different scenarios via a semi-quantitative theoretical framework. More specifically, we first propose a probabilistic model to analyze the influence of the negative sampling ratio $K$ on training sample informativeness. Then, we design a training effectiveness function to measure the overall influence of training samples on model learning based on their informativeness. We estimate the optimal negative sampling ratio using the $K$ value that maximizes the training effectiveness function. Based on our framework, we further propose an adaptive negative sampling method that can dynamically adjust the negative sampling ratio to improve InfoNCE based model training. Extensive experiments on different real-world datasets show our framework can accurately predict the optimal negative sampling ratio in different tasks, and our proposed adaptive negative sampling method can achieve better performance than the commonly used fixed negative sampling ratio strategy.

研究の動機と目的

• ラベルノイズを含む訓練データにおいて、InfoNCEの最適な負例サンプリング比$K$を特定する課題に取り組むこと。
• ノイズのあるラベル下での$K$が訓練サンプルの情報量に与える影響を定量化する理論的枠組みを構築すること。
• 訓練サンプルがモデル学習に与える全体的影響を測る訓練効果関数を設計すること。
• 訓練段階の特徴に基づいて$K$を動的に調整する自己適応的負例サンプリング（ANS）手法を提案すること。
• 提案フレームワークが最適$K$を予測する正確性およびANSの有効性を、多様な現実世界のデータセット上で実証的に検証すること。

提案手法

• 負例サンプリング比$K$が訓練サンプルの情報量に与える影響を分析するための確率的モデルを提案。特にラベルノイズ下での影響を重点的に分析。
• 訓練サンプルの情報量を集約して、モデル学習への全体的寄与度を評価する訓練効果関数を導入。
• 訓練効果関数を最大化する$K$を最適$K$と定義し、$K=1$における実証的AUC曲線から導出。
• 訓練段階に応じて$K$を動的に調整する自己適応的負例サンプリング（ANS）手法を開発。切り替え点は訓練ステップの10%の位置に設定。
• バリデーション性能に基づいてANSの切り替え点を実証的にチューニングしているが、現在は自動選択にはなっていない。
• 推薦およびNLP分野の現実世界データセットにフレームワークを適用し、固定$K$ベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 訓練ラベルにノイズが含まれる場合、InfoNCEの最適な負例サンプリング比$K$は何か？
• RQ2 ラベルノイズ下で、異なる$K$値における訓練サンプルの情報量はどのように変化するか？
• RQ3 準定量的フレームワークは、異なるタスクおよびデータ品質に対して最適$K$を正確に予測できるか？
• RQ4 訓練中に$K$を動的に調整することで、固定$K$戦略に比べてモデル性能が向上するか？
• RQ5 訓練効果関数は、異なる訓練段階において実際のモデル性能とどのように相関するか？

主な発見

• 提案フレームワークは、多様な現実世界のタスクにおいて最適な負例サンプリング比$K$を正確に予測し、デフォルトの固定$K$選択を上回る。
• 自己適応的負例サンプリング（ANS）手法は、ニュース推薦およびタイトル-本文一致タスクにおいて、静的負例サンプリング戦略を常に上回る性能を達成する。
• ニュース推薦タスクでは、NRMS、LSTUR、NAMLを含む複数のベースラインで、AUCおよびnDCG@10がANSにより向上する。
• ニュースのタイトル-本文一致タスクでは、シアンセイトランスフォーマーおよびそのCNN/LSTM変種を用いた固定$K$ベースラインと比較して、ANSはより高いAUCおよびHR@5を達成する。
• 最適$K$は通常、訓練の前半および後半では小さく、中盤にピークを示すため、動的調整が有効であると考えられる。
• フレームワークは、重要なパラメータを推定するための初期訓練（$K=1$）を必要とするが、正確な$K$予測のためには不可欠である。