[論文レビュー] What do you mean, BERT? Assessing BERT as a Distributional Semantics Model

Timothee Mickus, Denis Paperno+2 more|arXiv (Cornell University)|Nov 13, 2019

Topic Modeling参考文献 57被引用数 60

ひとこと要約

本論はBERTの文脈埋め込みが整合的な分布意味空間を形成するかを評価し、BERTのセグメンテーションと次文予測目的によって導入される語種の結束性と文を跨ぐ効果を検討する。

ABSTRACT

Contextualized word embeddings, i.e. vector representations for words in context, are naturally seen as an extension of previous noncontextual distributional semantic models. In this work, we focus on BERT, a deep neural network that produces contextualized embeddings and has set the state-of-the-art in several semantic tasks, and study the semantic coherence of its embedding space. While showing a tendency towards coherence, BERT does not fully live up to the natural expectations for a semantic vector space. In particular, we find that the position of the sentence in which a word occurs, while having no meaning correlates, leaves a noticeable trace on the word embeddings and disturbs similarity relationships.

研究の動機と目的

• BERTの文脈埋め込みが分布意味論の期待とどれだけ整合しているかを評価する。
• 同一語種がBERTの埋め込み空間でコヒーレントなクラスタを形成するかを検証する。
• BERT 表現における文間の整合性とセグメント誘導バイアスを調査する。

提案手法

• BERTをブラックボックスとして扱い、トークンの最終層埋め込みを抽出する。
• トークン埋め込み間で語種の結束性を評価するためにシルエットスコアを用いる。
• セグメントのエンコーディングと残差結合を分析し、文跨りのバイアスを測定する。
• セグメント間でのトークン群のコヒーレンスを検証するために平均二乗誤差（MSE）を計算する。
• 文レベルのコヒーレンスを、文内のコサイン類似度と連続する文間の類似度を比較することで評価する。

実験結果

リサーチクエスチョン

• RQ1 BERTの文脈埋め込み空間で語種は自然で結束したクラスタを形成しているか。
• RQ2 BERTは異なる文セグメント（セグメント A とセグメント B）からのトークン間に意味的に不要な差を導入し、それがコヒーレンスにどのように影響するか。
• RQ3 セグメントエンコーディングと位置エンコーディングは、文跨りおよび文内の意味的関係にどのような影響を与えるか。
• RQ4 BERT が生成する文レベルの表現は、分布意味論ベンチマークに適した一貫した意味を示すか。

主な発見

Model	sts cor.	sick-r cor.
Skip-Thought	0.2555976611661546	0.48761929800248277
use	0.6668647269750902	0.6899666474448651
InferSent	0.6764647661724299	0.7090345316003841
bert, 2 sent. ipt.	0.35912729311102576	0.36991548426408144
bert, 1 sent. ipt.	0.4824134048301114	0.5869474034197179
w2v	0.3701692035923143	0.5335559401867137

• BERT における語種の結束性は存在するが弱く、約 25.9% のトークンがネガティブなシルエットスコアを持ち、タイプの 10% はネガティブなスコアのみを含む。
• 語彙ペアの平均 BERT 埋め込み間のコサイン類似度は人間の類似度評価と相関があり（Spearman 0.705）、Word2Vec のベースライン（0.669）を上回る。
• 文跨りのコヒーレンスには有意なセグメント効果が現れ、セグメントエンコーディングと残差に起因するトークンは異なるセグメント間で系統的なバイアスを示す；効果量は中程度（d = -0.527）。
• 多くのアイテムで、同じタイプの埋め込みがセグメント間でそのセグメント平均とより良くコヒーレントであり、他方のセグメントの平均と比べてセグメントバイアスが部分的に保持されていることを示す。
• 1文入力スキームを用いた場合、BERT の文表現は STS および SICK-R ベンチマークで競争力のある相関を示すが、2文入力スキームでは Word2Vec を下回る。