[論文レビュー] SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples

Hao Wang, Yangguang Li+4 more|arXiv (Cornell University)|Jan 16, 2022

Topic Modeling被引用数 4

ひとこと要約

SNCSE は、特徴の抑制（モデルが文脈的・意味的類似性を混同する現象）を軽減するために、文の否定をソフトネガティブサンプルとして導入する対照学習フレームワークを提案する。双方向マージン損失（BML）を用いることで、意味的類似性の識別を向上させ、STSベンチマークにおいてRoBERTa baseで79.23%、RoBERTa largeで81.77%の平均スピアマン順位相関を達成し、最先端の性能を実現した。

ABSTRACT

Unsupervised sentence embedding aims to obtain the most appropriate embedding for a sentence to reflect its semantic. Contrastive learning has been attracting developing attention. For a sentence, current models utilize diverse data augmentation methods to generate positive samples, while consider other independent sentences as negative samples. Then they adopt InfoNCE loss to pull the embeddings of positive pairs gathered, and push those of negative pairs scattered. Although these models have made great progress on sentence embedding, we argue that they may suffer from feature suppression. The models fail to distinguish and decouple textual similarity and semantic similarity. And they may overestimate the semantic similarity of any pairs with similar textual regardless of the actual semantic difference between them. This is because positive pairs in unsupervised contrastive learning come with similar and even the same textual through data augmentation. To alleviate feature suppression, we propose contrastive learning for unsupervised sentence embedding with soft negative samples (SNCSE). Soft negative samples share highly similar textual but have surely and apparently different semantic with the original samples. Specifically, we take the negation of original sentences as soft negative samples, and propose Bidirectional Margin Loss (BML) to introduce them into traditional contrastive learning framework, which merely involves positive and negative samples. Our experimental results show that SNCSE can obtain state-of-the-art performance on semantic textual similarity (STS) task with average Spearman's correlation coefficient of 78.97% on BERTbase and 79.23% on RoBERTabase. Besides, we adopt rank-based error analysis method to detect the weakness of SNCSE for future study.

研究の動機と目的

• 正例ペアにおけるテクスト類似度の高さに起因する意味的類似度の過大評価という、無教師文埋め込みにおける特徴の抑制を是正すること。
• テキスト類似度は高いが意味的差異がある文をソフトネガティブサンプルとして導入し、テクスト的類似性と意味的類似性を分離する手段を提供すること。
• テクスト的類似度が高いうえで意味的差異を識別できる対照学習の能力を向上させること。
• ラベルなしデータを必要としない、意味的識別を強化する訓練フレームワークの構築こと。

提案手法

• SNCSE は、テキスト的類似度が高く意味的差異が明確な文の否定をソフトネガティブサンプルとして使用する。
• 正例ペアとソフトネガティブサンプルの間の意味的ギャップを明示的にモデル化するため、双方向マージン損失（BML）を導入する。
• 標準的な対照学習設定に BML を統合し、正例ペアおよび通常のネガティブペアに対し InfoNCE 損失も併用する。
• BML は、文の埋め込みがその否定から引き離されるように保証する一方で、拡張された正例バージョンには引き寄せられるようにする。
• 任意の事前学習エンコーダ（例：BERT や RoBERTa）と互換性があり、無教師的に動作する。
• 意味的表現を最適化するために、InfoNCE と BML の損失を組み合わせてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 文の否定をソフトネガティブサンプルとして導入することで、無教師文埋め込みにおけるテクスト的類似性と意味的類似性の分離が向上するか？
• RQ2 双方向マージン損失（BML）は、テキスト的に類似しているが意味的に異なる文の識別能力をどの程度向上させるか？
• RQ3 ソフトネガティブサンプルの使用が、意味的テクスト類似度（STS）ベンチマーク性能に測定可能な改善をもたらすか？
• RQ4 SNCSE は、既存の対照学習手法と比較して、特徴の抑制をどの程度軽減するか？
• RQ5 SNCSE の主な失敗モードは何か。また、語順、タイポ、否定論理といった言語現象とどのように関連しているか？

主な発見

• SNCSE はSTSベンチマークで最先端の性能を達成し、RoBERTa base で79.23%、RoBERTa large で81.77%の平均スピアマン順位相関を記録した。
• アブレーションスタディにより、BML損失が性能向上に顕著に寄与し、特徴の抑制の軽減に貢献することが確認された。
• モデルが文とその否定の間で低い類似度スコアを割り当てる能力が向上しており、文とその否定の区別能力が向上したことが裏付けられた。
• ランクベースの誤差解析により、主な失敗モードとしてタイポ、暗黙の否定、テクスト的独立性、語順の変更が特定された。これらはすべて、持続的な特徴の抑制に起因する。
• テキスト的重複が少ないが意味的類似度が高いペアでは、類似度が低く評価される傾向にあり、表面的なテキストを超えた意味的意味の捉え方の課題が残っていることが示された。
• 進展は見られたが、SNCSE は語順の変更や暗黙の否定における意味的差異のモデル化に依然として困難を抱えており、自己注意機構が構文的要因と意味的要因を分離する能力に限界があることが浮き彫りになった。