[論文レビュー] Sentence Embeddings using Supervised Contrastive Learning

Danqi Liao|arXiv (Cornell University)|Jun 9, 2021

Topic Modeling参考文献 26被引用数 9

ひとこと要約

本稿では、SNLIデータ上でBERTを微調整する際に交差エントロピー損失と対照的損失の両方を用いる教師あり対照的学習アプローチを提案し、文埋め込みの品質を向上させる。この手法は最先端の性能を達成し、STSベンチマークの平均スコアをSBERTと比較して2.8%向上させ、転移タスクの性能も1.05%向上させたが、トレーニングコストはわずか16分の増加にとどまる。

ABSTRACT

Sentence embeddings encode sentences in fixed dense vectors and have played an important role in various NLP tasks and systems. Methods for building sentence embeddings include unsupervised learning such as Quick-Thoughts and supervised learning such as InferSent. With the success of pretrained NLP models, recent research shows that fine-tuning pretrained BERT on SNLI and Multi-NLI data creates state-of-the-art sentence embeddings, outperforming previous sentence embeddings methods on various evaluation benchmarks. In this paper, we propose a new method to build sentence embeddings by doing supervised contrastive learning. Specifically our method fine-tunes pretrained BERT on SNLI data, incorporating both supervised crossentropy loss and supervised contrastive loss. Compared with baseline where fine-tuning is only done with supervised cross-entropy loss similar to current state-of-the-art method SBERT, our supervised contrastive method improves 2.8% in average on Semantic Textual Similarity (STS) benchmarks and 1.05% in average on various sentence transfer tasks.

研究の動機と目的

• 教師あり対照的学習においてラベル情報を活用することで、文埋め込みの品質を向上させること。
• 微調整時に交差エントロピー損失と対照的損失を組み合わせることで、意味的表現学習が向上するかを調査すること。
• 教師あり対照的学習が文レベルの転移タスクおよび非教師付きSTSベンチマークにおいて有効であるかを評価すること。
• 対照的目的関数におけるハイパーパrameter（λ、温度、正例/負例サンプリング）の感度を分析すること。
• 提案手法の計算効率が、既存の微調整ベースラインと比較して優れていることを示すこと。

提案手法

• 標準的な交差エントロピー損失と教師あり対照的損失の二重目的を用いて、SNLIデータ上でBERTを微調整する。
• アンカー、正例、負例の文ペアの文埋め込みを計算するために、二つのBERTエンコーダー間で重みを共有する。
• 対照的損失を用いて、正例の文埋め込みを近づけ、負例の文埋め込みを遠ざける。
• 温度スケーリングを施したソフトマックスを用いて対照的損失を計算し、温度τのハイパーパrameterを最適化する。
• 交差エントロピー損失と対照的損失の重み付き組み合わせを用い、両者のバランスを制御するハイパーパrameterλを導入する。
• アンカーごとに利用可能なすべての正例および負例をバッチ内からサンプリングし、対照的信号を最大化する。

実験結果

リサーチクエスチョン

• RQ1 BERTの微調整時に教師あり対照的学習を組み込むことで、STSベンチマークにおける文埋め込みの品質が向上するか？
• RQ2 交差エントロピー損失のみを用いるSBERTと比較して、本手法の性能はどのように異なるか？
• RQ3 ハイパーパrameterλ（損失重み）、τ（温度）、N+ / N−（正例/負例の数）がモデル性能に与える影響は何か？
• RQ4 教師あり対照的学習は、非教師付き（STS）および教師付き（SentEval）の両方のタスクで一貫した向上効果を示すか？
• RQ5 標準的な微調整ベースラインと比較して、本手法は計算的に効率的か？

主な発見

• 提案手法は、SBERTベースラインと比較してSTSベンチマークの平均スコアを2.8%向上させた。
• さまざまな文の転移タスクにおいて、SBERTベースラインと比較して平均正答率が1.05%向上した。
• 最良のモデル設定では、SentEvalタスクではλ = 0.1、STSタスクではλ = 0.3が最適であった。これは、最適な損失重みが評価タスクによって異なることを示している。
• 温度τ = 1.0がSTSおよびSentEvalタスクの両方で最良の性能を示し、ハードネガティブとソフトネガティブのバランスが最適であることを示唆している。
• アンカーごとに利用可能なすべての正例（N+ = all）および負例（N− = all）を用いることで最高の性能が得られ、対照的損失のみを用いる場合（λ = 1.0）には性能が低下した。
• 本手法は計算的に効率的であり、最良のモデルをトレーニングするのに36分を要した。これはSBERTベースラインよりわずか16分の追加時間にとどまる。