[論文レビュー] SemGloVe: Semantic Co-occurrences for GloVe from BERT

Leilei Gan, Zhiyang Teng+4 more|arXiv (Cornell University)|Dec 30, 2020

Topic Modeling被引用数 5

ひとこと要約

本稿では、BERTの自己注意重みまたはマスク言語モデルの出力確率を用いて、局所的な窓を超えた意味的共起を抽出することで、GloVe単語埋め込みを向上させるSemGloVeという手法を提案する。実験の結果、SemGloVeは語の類似性および下流NLPタスクにおいてGloVeを上回り、局所的な窓に制限されないより広範かつ意味的な語のペアを捉えることで、より優れたクラスタリングと精度を達成する。

ABSTRACT

GloVe learns word embeddings by leveraging statistical information from word co-occurrence matrices. However, word pairs in the matrices are extracted from a predefined local context window, which might lead to limited word pairs and potentially semantic irrelevant word pairs. In this paper, we propose SemGloVe, which distills semantic co-occurrences from BERT into static GloVe word embeddings. Particularly, we propose two models to extract co-occurrence statistics based on either the masked language model or the multi-head attention weights of BERT. Our methods can extract word pairs without limiting by the local window assumption and can define the co-occurrence weights by directly considering the semantic distance between word pairs. Experiments on several word similarity datasets and four external tasks show that SemGloVe can outperform GloVe.

研究の動機と目的

• GloVeの局所的窓に基づく共起カウントの限界を是正すること。これは、語のペア発見を制限し、ヒューリスティックな距離関数を用いるためである。
• GloVeの統計的カウントをBERTから得られる意味的関連性に置き換えることで、グローバルな語の共起行列の品質を向上させること。
• 文脈に依存しない静的単語埋め込みを生成し、文脈依存のBERT表現から豊富な意味的情報を保持すること。
• BERTから得られる意味的共起が、語の類似性（例：語の類似性）といった内在的タスクおよび品詞タグ付け、NERといった外在的タスクで優れた性能を発揮するかどうかを評価すること。

提案手法

• SemGloVeは、GloVeの位置ベースの距離関数に代わり、BERTの多ヘッド自己注意重みを語のペア間の意味的類似度として用い、共起スコアを定義する。
• 最初のモデルであるSemGloVe sdは、注意重みに基づいて上位k個の文脈語を抽出し、それらを用いて注意重みを重みとする共起行列を構築する。
• 2番目のモデルであるSemGloVe mdでは、ターゲット語をマスクし、BERTのマスクトークン予測の出力確率（ログティス）を共起重みとして用いることで、局所的窓を超えたグローバルな文脈を捉える。
• 注意重みまたはMLMログティスを正規化・スケーリングするための除法ベースの距離関数が導入され、有効な共起重みが得られる。
• 得られた共起行列は、GloVeの目的関数を用いて因子分解され、静的単語埋め込みが学習される。
• 本手法により、サブワードレベルの共起カウントが可能となり、例えば「エジプトロジスト」と「エジプト」や「アーカイオロジスト」とのペアリングを通じて意味的表現が豊かになる。

実験結果

リサーチクエスチョン

• RQ1 BERTの文脈依存表現を効果的にグローバル共起行列に蒸留することで、静的単語埋め込みの質を向上させることができるか？
• RQ2 GloVeの位置ベースの距離関数をBERTの注意重みまたはMLMログティスに置き換えることで、より意味的に意味のある共起カウントが得られるか？
• RQ3 SemGloVeは、局所的窓の制限によりGloVeが見逃す語のペアを発見できるか？
• RQ4 SemGloVeは、GloVeと比較して、語の類似性といった内在的タスクおよびPOSタグ付けやNERといった外在的タスクで優れた性能を示すか？
• RQ5 SemGloVeの異なる構成要因（例：注意重み vs. MLMログティス、窓サイズ）が最終的な埋め込み品質に与える影響は何か？

主な発見

• SemGloVeは語の類似性データセットにおいてGloVeを上回り、特にSemGloVe mdが最高の結果を達成しており、BERTから得られる共起が意味的表現を向上させることを示している。
• モデルはGloVeが見逃す語のペア、例えば「王-王冠」や「自分自身-一人」のような意味的関連性があるが局所的窓内にないペアを効果的に捉えている。
• SemGloVe mdは意味的に関連するペアに対して顕著に高い共起カウントを生成しており、例として「エジプトロジスト-エジプシャン」の共起数が8.58×10³（GloVeの11.32と比較）に達しており、より豊かな意味的信号を示している。
• t-SNE可視化では、SemGloVe mdは都市、時間、政治などの語の種類ごとに、GloVeとは異なりより密で分離性の高いクラスタを生成している。
• アブレーションスタディの結果、SemGloVe mdの窓サイズを小さくすると性能が低下する一方、より広い文脈（10語）を用いるSemGloVe sdは依然としてGloVeを上回っており、窓サイズに対して頑健であることが示された。
• SemGloVe sdRはSemGloVe sdの共起カウントをGloVeのものに置き換えたものであり、GloVeとほぼ同等の性能を示しており、性能向上の主な要因が窓サイズではなく意味的共起メカニズムであることを確認している。