[論文レビュー] Smoothed Contrastive Learning for Unsupervised Sentence Embedding

Xing Wu, Chaochen Gao+4 more|arXiv (Cornell University)|Sep 9, 2021

Topic Modeling参考文献 19被引用数 9

ひとこと要約

本稿では、対照学習の損失関数において負例ペアにランダムなガウスノイズを追加することで、バッチサイズを増加させずに自己教師付きSimCSEの性能を向上させる単純なスムージング戦略、Gaussian Smoothed InfoNCE (GS-InfoNCE) を提案する。この手法により、STS-Bで最大2.85%のSpearman相関の向上が達成され、BERTおよびRoBERTaモデルにおいて一貫した性能向上が確認された。

ABSTRACT

Contrastive learning has been gradually applied to learn high-quality unsupervised sentence embedding. Among the previous un-supervised methods, the latest state-of-the-art method, as far as we know, is unsupervised SimCSE (unsup-SimCSE). Unsup-SimCSE uses the InfoNCE1loss function in the training stage by pulling semantically similar sentences together and pushing apart dis-similar ones.Theoretically, we expect to use larger batches in unsup-SimCSE to get more adequate comparisons among samples and avoid overfitting. However, increasing the batch size does not always lead to improvements, but instead even lead to performance degradation when the batch size exceeds a threshold. Through statistical observation, we find that this is probably due to the introduction of low-confidence negative pairs after in-creasing the batch size. To alleviate this problem, we introduce a simple smoothing strategy upon the InfoNCE loss function, termedGaussian Smoothing InfoNCE (GS-InfoNCE).Specifically, we add random Gaussian noise vectors as negative samples, which act asa smoothing of the negative sample space.Though being simple, the proposed smooth-ing strategy brings substantial improvements to unsup-SimCSE. We evaluate GS-InfoNCEon the standard semantic text similarity (STS)task. GS-InfoNCE outperforms the state-of-the-art unsup-SimCSE by an average Spear-man correlation of 1.38%, 0.72%, 1.17% and0.28% on the base of BERT-base, BERT-large,RoBERTa-base and RoBERTa-large, respectively.

研究の動機と目的

• バッチサイズが閾値を超えると生じる自己教師付きSimCSEの性能低下を是正すること。
• 負例の分布をスムージングすることで対照学習の安定性と一般化性能を向上させること。
• 計算コストやバッチサイズを増加させることなく表現品質を向上させること。
• 自己教師付き文埋め込みにおけるガウスノイズを正則化戦略として効果的に用いることの妥当性を検証すること。

提案手法

• 負例ペア集合に複数のランダムなガウスノイズベクトルを追加することで、変更されたInfoNCE損失、すなわちGS-InfoNCEを導入する。
• 標準ガウス分布からノイズベクトルをサンプリングし、これらを高信頼度の負例として扱う。
• バッチサイズを増加させることなく負例集合を拡張し、効果的に負例分布をスムージングする。
• InfoNCE損失の分母にスムージング戦略を適用することで、過学習を軽減し一般化性能を向上させる。
• ノイズベクトルの数を制御するハイパーパrameter Mを採用し、BERT-baseではM=3で最適な性能が得られた。
• 従来のSimCSEの学習パイプラインを維持しつつ、標準のInfoNCE損失をGS-InfoNCEに置き換える。

実験結果

リサーチクエスチョン

• RQ1 ガウスノイズを追加する負例として用いることで、自己教師付き文表現学習が向上するか？
• RQ2 負例分布をスムージングすることで、大きなバッチサイズにおける性能低下が緩和されるか？
• RQ3 GS-InfoNCEの性能はノイズベクトルの数（M）にどれほど敏感か？
• RQ4 GS-InfoNCEは異なるモデルアーキテクチャーやデータセットにおいて一貫して性能を向上させるか？
• RQ5 同じまたはより小さいバッチサイズで、GS-InfoNCEは標準のSimCSEよりも優れた結果を達成できるか？

主な発見

• BERT-baseでは、7つのSTSデータセット全体で、unsup-SimCSEの平均Spearman相関が1.38%向上した。
• BERT-largeでは、同じテストセットで平均0.55%の向上を達成したが、SICK15およびSICK-Rではわずかな低下が見られた。
• RoBERTa-baseでは平均1.17%の向上、RoBERTa-largeでは平均0.31%の向上が得られた。
• STS-Bベンチマークでは、BERT-baseで最大2.85%の性能向上が達成された。
• BERT-baseではM=3で最適な性能が得られ、M=8を超えると収益が減少し、やがて低下した。
• GS-InfoNCEは、すべてのモデル設定およびテストセットにおいて、元のSimCSEを一貫して上回ったが、バッチサイズが小さくても同等かそれ以下のサイズで実行された。