[論文レビュー] A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings

Haochen Tan, Wei Shao+3 more|arXiv (Cornell University)|Mar 11, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文は、文の長さや文法構造といった表面的特徴への依存を軽減するため、文を固定長の擬似トークン空間にマップする意味的注意型対照学習フレームワークであるPT-BERTを提案する。学習可能な擬似トークン埋め込みとアテンション機構を用いて文の表現を整列させることで、STSベンチマークで77.74%のスピアマン相関を達成し、SimCSEや他のベースラインより整列性、一様性、ハード例への一般化性能で優れる。

ABSTRACT

Contrastive learning has shown great potential in unsupervised sentence embedding tasks, e.g., SimCSE. However, We find that these existing solutions are heavily affected by superficial features like the length of sentences or syntactic structures. In this paper, we propose a semantics-aware contrastive learning framework for sentence embeddings, termed Pseudo-Token BERT (PT-BERT), which is able to exploit the pseudo-token space (i.e., latent semantic space) representation of a sentence while eliminating the impact of superficial features such as sentence length and syntax. Specifically, we introduce an additional pseudo token embedding layer independent of the BERT encoder to map each sentence into a sequence of pseudo tokens in a fixed length. Leveraging these pseudo sequences, we are able to construct same-length positive and negative pairs based on the attention mechanism to perform contrastive learning. In addition, we utilize both the gradient-updating and momentum-updating encoders to encode instances while dynamically maintaining an additional queue to store the representation of sentence embeddings, enhancing the encoder's learning performance for negative examples. Experiments show that our model outperforms the state-of-the-art baselines on six standard semantic textual similarity (STS) tasks. Furthermore, experiments on alignments and uniformity losses, as well as hard examples with different sentence lengths and syntax, consistently verify the effectiveness of our method.

研究の動機と目的

• 既存の対照学習手法が文の埋め込みタスクにおいて、文の長さや文法構造といった表面的特徴に過剰に依存している問題に対処すること。
• 文を固定長の擬似トークン空間に投影することで、深い意味的表現を捉えるフレームワークを開発すること。
• モーメンタムとキュー機構を用いて、ポジティブペアの構築とネガティブサンプルのマイニングを強化することで、対照学習のパフォーマンスを向上させること。
• 長さや文法構造の違いが顕著なハード例において、モデルのロバストネスを評価すること。
• 意味的注意型表現学習が、埋め込み空間におけるより良い整列性と一様性をもたらすことを示すこと。

提案手法

• BERTエンコーダとは独立した学習可能な擬似トークン埋め込み層を導入し、各文を128個の固定長の擬似トークン列にマップする。
• アテンション機構を用いてBERTからの文の表現を擬似トークン空間に投影し、意味的注意型表現学習を可能にする。
• 勾配更新を行うエンコーダとモーメンタム更新を行うエンコーダの2つのBERTエンコーダを用い、連続的増幅によりポジティブペアを生成する。
• モーメンタムエンコーダからのネガティブ埋め込みの動的キューを維持し、対照学習の安定性と多様性を向上させる。
• 整列性と一様性の両方の損失関数を用いて埋め込み空間を最適化し、ポジティブペア間の距離を最小化し、ネガティブペア間の分離を最大化する。
• 100万件のウィキペディア文を学習データとして用い、長さや文法的変化があるハード例も含む7つの標準STSタスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 固定長の擬似トークン空間は、文の長さや文法構造への依存を軽減できるか？
• RQ2 提案された意味的注意型対照学習フレームワークは、SimCSE や離散的増幅手法と比較して、標準STSベンチマークでどの程度パフォーマンスを向上させるか？
• RQ3 長さの差が著しく大きい、もしくは文法的類似度が極めて低いハード例に対し、モデルの一般化性能はどの程度向上するか？
• RQ4 擬似トークンの使用は、既存の対照学習ベースラインと比較して、埋め込み空間における整列性と一様性を向上させるか？
• RQ5 パフォーマンスとモデルの複雑さのバランスを考慮した場合、最適な擬似トークン列の長さとキューのサイズは何か？

主な発見

• PT-BERTは、標準STSベンチマークで77.74%という新たなSOTAスピアマン相関を達成し、SimCSEや他のベースラインを上回った。
• SimCSEと比較して、整列性と一様性の両方の損失が低く抑えられており、対照学習の目的関数がより効果的に最適化されていることを示している。
• 長さの差が5語以上で、文法的類似度が低いハードサブデータセットでは、PT-BERTはSimCSEよりスピアマン相関を3.36%向上させた。
• アブレーションスタディの結果、128個の擬似トークンが、意味的表現力とパラメータ効率の両面で最適なパフォーマンスを発揮することが判明した。
• キューのサイズに関する実験から、q=4程度で性能が安定することが示され、中程度のキューサイズでも十分なネガティブサンプリングが可能であることがわかった。
• このフレームワークは、文の長さや文法構造に起因する誤った相関を効果的に低減し、よりロバストな意味的表現学習を可能にした。