[論文レビュー] DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings

Yung-Sung Chuang, Rumen Dangovski+8 more|arXiv (Cornell University)|Apr 21, 2022

Topic Modeling被引用数 5

ひとこと要約

DiffCSEは、元の文とマスキング言語モデルで拡張された文の違いを明示的にモデル化する教師なし対照学習フレームワークを提案し、意味的類似度性能を向上させる。標準的なドロップアウトベースの拡張とMLMベースの語置換を組み合わせ、差分予測ヘッドを訓練することで、DiffCSEはSTSタスクでSimCSEを2.3ポイント上回る最先端の結果を達成する。

ABSTRACT

We propose DiffCSE, an unsupervised contrastive learning framework for learning sentence embeddings. DiffCSE learns sentence embeddings that are sensitive to the difference between the original sentence and an edited sentence, where the edited sentence is obtained by stochastically masking out the original sentence and then sampling from a masked language model. We show that DiffSCE is an instance of equivariant contrastive learning (Dangovski et al., 2021), which generalizes contrastive learning and learns representations that are insensitive to certain types of augmentations and sensitive to other "harmful" types of augmentations. Our experiments show that DiffCSE achieves state-of-the-art results among unsupervised sentence representation learning methods, outperforming unsupervised SimCSE by 2.3 absolute points on semantic textual similarity tasks.

研究の動機と目的

• 意味的な言語的変化に敏感な対照学習フレームワークを構築すること、すなわちそれらの変化を無視しないこと。
• 自然言語処理における標準的な対照学習の限界に対処すること。具体的には、語置換などの入力レベルの拡張は意味を変えるため、無視してはならないこと。
• ドロップアウト（感度なし）とMLMベースの変換（感度あり）を区別することで、NLPにおける等長的対照学習を実装すること。
• 教師なしデータを必要とせず、ゼロショット転移および意味的類似度タスクの文表現品質を向上させること。
• 元の文と編集済み文の差分をモデル化することで、より整合性があり情報量の多い文埋め込みが得られることを示すこと。

提案手法

• DiffCSEは二重拡張戦略を用いる：一方のブランチでは元の文にドロップアウトを適用（感度なし変換）、もう一方ではマスキング言語モデル（感度あり変換）を用いて編集済み文を生成する。
• モデルは元の文とドロップアウトで拡張された文の表現間の対照損失を通じて文埋め込みを学習し、ドロップアウトに対して不変性を促進する。
• 追加で、元の文とMLMで拡張された文の差分を予測するための交差エントロピー損失を導入し、表現が意味的な変化に敏感になるようにする。
• 差分予測ヘッドは文エンコーダーと同時にEnd-to-Endで訓練され、推論時には識別器ヘッドは破棄され、文エンコーダーのみが使用される。
• このフレームワークは等長的対照学習に基づくもので、ある種の拡張に対して不変で、他の拡張に対しては感度を持つ表現を学ぶことで、標準的な対照学習を一般化する。
• 事前学習済みモデルとコードは https://github.com/voidism/DiffCSE で公開されている。

実験結果

リサーチクエスチョン

• RQ1 元の文とMLMで拡張された文の差分をモデル化することで、教師なし設定における文表現学習が向上するか？
• RQ2 マスキング言語モデルによる語置換といった意味的な言語的変化に文表現が敏感になることで、意味的類似度タスクでの性能が向上するか？
• RQ3 DiffCSEは、対照学習のベースライン（SimCSEなど）と比較して、整合性、均一性、および下流タスクの転移性能においてどの程度優れているか？
• RQ4 差分予測ヘッドが学習された文埋め込み空間の質をどの程度向上させるか？
• RQ5 入力レベルの拡張が意味的意味を変えることがある自然言語処理において、等長的対照学習を効果的に適用できるか？

主な発見

• DiffCSEは、教師なしのSimCSEに比べ、意味的類似度（STS）ベンチマークで2.3ポイントの絶対的向上を達成し、教師なし文表現学習の新しい最先端を樹立した。
• STS-Bテストセットでは、DiffCSEはリCALL@10が97.42を達成したのに対し、SimCSEは95.88であった。これは優れた検索性能を示している。
• DiffCSEのコサイン類似度分布は、人間の評価スコアとより一貫しており、同じ人間のアノテーションスコアを持つペアに対して高い類似度が割り当てられている。
• DiffCSEはSimCSE（0.177）よりも優れた整合性（0.097）を達成しながら、均一性（-1.438 vs. -2.313）はほぼ同等を維持しており、より良い整合性によって表現品質が向上していることが示された。
• アブレーションスタディーでは、対照損失と差分予測ヘッドの両方が性能向上に寄与しており、特に差分予測ヘッドが意味的変化への感受性を確保する上で不可欠であることが確認された。
• 定性的分析では、DiffCSEが、特にパラフレーズや微細な意味的変化を扱う際に、より判別力があり意味的に意味のある文表現を学習していることが示された。