[論文レビュー] On the Sentence Embeddings from Pre-trained Language Models

Bohan Li, Hao Zhou+4 more|arXiv (Cornell University)|Nov 2, 2020

Topic Modeling参考文献 34被引用数 24

ひとこと要約

本稿では、自己注意機構を用いた文の埋め込み表現を、教師なし正規化流れを用いて滑らかで等方的なガウス分布に変換する BERT-flow を提案する。この手法により、余計な語彙的類似性相関が低減され、意味的テキスト類似度の性能が著しく向上する。本手法は、微調整を一切行わずに複数のSTSベンチマークで最先端の結果を達成している。

ABSTRACT

Pre-trained contextual representations like BERT have achieved great success in natural language processing. However, the sentence embeddings from the pre-trained language models without fine-tuning have been found to poorly capture semantic meaning of sentences. In this paper, we argue that the semantic information in the BERT embeddings is not fully exploited. We first reveal the theoretical connection between the masked language model pre-training objective and the semantic similarity task theoretically, and then analyze the BERT sentence embeddings empirically. We find that BERT always induces a non-smooth anisotropic semantic space of sentences, which harms its performance of semantic similarity. To address this issue, we propose to transform the anisotropic sentence embedding distribution to a smooth and isotropic Gaussian distribution through normalizing flows that are learned with an unsupervised objective. Experimental results show that our proposed BERT-flow method obtains significant performance gains over the state-of-the-art sentence embeddings on a variety of semantic textual similarity tasks. The code is available at https://github.com/bohanli/BERT-flow.

研究の動機と目的

• 強い事前学習にもかかわらず、BERTの文の埋め込み表現が意味的テキスト類似度タスクで性能を発揮できない理由を調査すること。
• 特に、文の埋め込み空間が非等方的かつ滑らかでない性質が性能に与える影響の根本的原因を特定すること。
• ラベル付きデータや微調整を必要とせず、BERTの文の埋め込み表現を向上させる教師なし手法を開発すること。
• BERTが誘発する類似度と語彙的類似度（例：編集距離）の過剰な相関を低減すること。これは意味的一般化性能を損なう要因である。

提案手法

• 正規化流れ（可逆な生成モデルであり、ニューラルネットワークベースの変換を学習可能）を用いて、BERTの文の埋め込み表現を標準ガウス分布の潜在空間にマッピングする。
• 観測されたBERT埋め込み表現を標準ガウス事前分布から生成する尤度を最大化することで、教師なしで流れネットワークを学習する。
• 学習中にBERTのパラメータを固定し、元の文脈的表現を保持する。
• 学習済みの可逆マッピングを用いて、BERTの文の埋め込み表現を滑らかでより等方的な潜在空間に変換する。この潜在空間は意味的類似度をよりよく反映する。
• 変換は推論時に行われ、潜在空間におけるコサイン類似度による類似度計算が向上する。
• 微調整を一切行わず、エンドツーエンドで意味的テキスト類似度タスクに対して評価される。

実験結果

リサーチクエスチョン

• RQ1 強い事前学習にもかかわらず、BERTの文の埋め込み表現が意味的テキスト類似度タスクで性能を発揮できないのはなぜか？
• RQ2 BERTの文の埋め込み空間の非等方的かつ滑らかでない構造が、意味的類似度推定にどの程度悪影響を及えるか？
• RQ3 ラベル付きデータや微調整を必要とせず、教師なしで可逆変換を用いてBERTの文の埋め込み表現を向上させることは可能か？
• RQ4 提案手法は、埋め込み類似度と語彙的類似度（例：編集距離）の誤った相関を低減するか？
• RQ5 流れベースの変換により、意味的テキスト類似度ベンチマークで最先端の性能が達成可能か？

主な発見

• BERT-flow は、7つの意味的テキスト類似度ベンチマークにおいて、BERTより平均で8.16ポイントのスピアマン相関上昇を達成し、最大で12.70ポイントの向上を示した。
• BERTが誘発する類似度と編集距離の相関を、ρ = -50.49 から ρ = -28.01 に低減させ、語彙的類似度への依存が減少した。
• 標準化とトップ-k特異ベクトルノイジング（NATSV）という、非等方性低減のための先行ベースラインよりも、BERT-flow は優れた性能を示した。
• 自然言語推論タスクからの外部の監視信号を組み合わせても、BERT-flow は sentence-BERT を上回る性能を発揮した。
• 特に編集距離が小さい（≤4）文のペアでは、BERTの類似度が語彙的変化に過剰に依存しているが、本手法はその影響を効果的に抑制した。
• 学習済みの流れ変換は、すべての意味的情報を保持しつつ、埋め込み空間を滑らかでより等方的なものにし、人的アノテーションによる意味的類似度とよりよく一致するようになった。