[論文レビュー] S-SimCSE: Sampled Sub-networks for Contrastive Learning of Sentence Embedding

Junlei Zhang, Zhenzhong Lan|arXiv (Cornell University)|Nov 23, 2021

Topic Modeling参考文献 10被引用数 5

ひとこと要約

この論文は、S-SimCSEを提案する。S-SimCSEは、同じ文に対して異なる期待スケールを持つサブネットワークが類似した表現を学習するよう促すために、訓練中にドロップアウト率を分布からサンプリングする対照的学習手法である。各フォワードパスでドロップアウト率を動的に変化させ、文単位のマスクサンプリングを用いることで、BERT-baseを用いた複数のSTSベンチマークでSimCSEを1%以上上回る性能を達成する。

ABSTRACT

Contrastive learning has been studied for improving the performance of learning sentence embeddings. The current state-of-the-art method is the SimCSE, which takes dropout as the data augmentation method and feeds a pre-trained transformer encoder the same input sentence twice. The corresponding outputs, two sentence embeddings derived from the same sentence with different dropout masks, can be used to build a positive pair. A network being applied with a dropout mask can be regarded as a sub-network of itsef, whose expected scale is determined by the dropout rate. In this paper, we push sub-networks with different expected scales learn similar embedding for the same sentence. SimCSE failed to do so because they fixed the dropout rate to a tuned hyperparameter. We achieve this by sampling dropout rate from a distribution eatch forward process. As this method may make optimization harder, we also propose a simple sentence-wise mask strategy to sample more sub-networks. We evaluated the proposed S-SimCSE on several popular semantic text similarity datasets. Experimental results show that S-SimCSE outperforms the state-of-the-art SimCSE more than $1\%$ on BERT$_{base}$

研究の動機と目的

• 同じ入力文に対して異なる期待スケールを持つサブネットワークが類似した表現を学習できるようにすることで、文の埋め込み品質を向上させること。
• 固定ドロップアウト率を使用するため、サブネットワークのサンプリングの多様性が制限されるSimCSEの限界を解消すること。
• 文単位のドロップアウト率サンプリングを導入することで、最適化の安定性と表現の多様性を向上させること。
• 教師なし事前学習のみを用いて、文脈的テキスト類似度（STS）タスクで最先端のパフォーマンスを達成すること。

提案手法

• SimCSEとは異なり、各フォワードパスで事前に定義された分布（例：一様分布）から2つのドロップアウト率を動的にサンプリングする。
• 同じ入力文にこれらのサンプリングされたドロップアウト率を適用し、異なる期待スケールを持つ2つの異なるサブネットワークを生成する。
• これらのサブネットワークから得られる埋め込みを、対照的学習におけるポジティブペアとして扱い、それらが意味的に類似しているように促進する。
• バッチ内の各文に対して新しいドロップアウト率をサンプリングする文単位のマスク戦略を導入し、サブネットワークの数を増やし、最適化を改善する。
• 同じバッチ内のポジティブペアとネガティブペア間の温度スケーリング付きコサイン類似度を用いた対照的損失で訓練する。
• 標準的なトランスフォーマーアーキテクチャと同様に、事前学習済みトランスフォーマーエンコーダー（例：BERT、RoBERTa）を活用し、ドロップアウトは完全結合層の直前に適用する。

実験結果

リサーチクエスチョン

• RQ1 訓練中にドロップアウト率を分布からサンプリングすることで、文の埋め込みの頑健性と一般化性能が向上するか？
• RQ2 動的ドロップアウト率によるサブネットワークの期待スケールの変動は、固定率ドロップアウトよりも優れた意味的表現学習をもたらすか？
• RQ3 文単位のドロップアウト率サンプリングは、対照的学習における最適化の安定性と表現の多様性を向上させるか？
• RQ4 提案手法は、標準的なSTSベンチマークにおいてSimCSEと比較してどの程度のパフォーマンス向上を達成するか？

主な発見

• BERT-baseを用いた7つのSTSタスク全体で、S-SimCSEはSimCSEを平均1.03%上回り、平均スピアマン相関係数は76.92%に達した。
• BERT-largeでは、S-SimCSEはSimCSEを1.12%上回り、平均スピアマン相関係数は79.27%に達した。
• 文単位のドロップアウトマスク戦略（w/ sd）を導入することでさらなる性能向上が得られ、BERT-baseでは最大77.35のスピアマンスコア、BERT-largeでは79.42に達した。
• S-SimCSEはRoBERTa-baseを含む複数のアーキテクチャでも強力なパフォーマンスを維持し、平均スピアマン相関係数77.08%を達成した。これはSimCSEの76.87%を上回る。
• S-SimCSEは7つのSTSベンチマークデータセットすべてで一貫してパフォーマンスを向上させ、頑健性と一般化性能を示した。