[論文レビュー] How Can BERT Help Lexical Semantics Tasks?

Yile Wang, Leyang Cui+1 more|arXiv (Cornell University)|Nov 7, 2019

Natural Language Processing Techniques参考文献 36被引用数 5

ひとこと要約

この論文では、スキップグラムモデルの学習中に文脈に依存するBERT表現を統合することで、静的単語埋め込みの性能を向上させる手法を提案する。BERTの動的埋め込みを用いて中心語の表現を情報化することで、語の類似性および類推性能が向上し、語の意味の曖昧性をよりよく解消し文脈レベルの意味を捉えることができるようになり、7つのベンチマークデータセットで最先端の結果を達成した。

ABSTRACT

Contextualized embeddings such as BERT can serve as strong input representations to NLP tasks, outperforming their static embeddings counterparts such as skip-gram, CBOW and GloVe. However, such embeddings are dynamic, calculated according to a sentence-level context, which limits their use in lexical semantics tasks. We address this issue by making use of dynamic embeddings as word representations in training static embeddings, thereby leveraging their strong representation power for disambiguating context information. Results show that this method leads to improvements over traditional static embeddings on a range of lexical semantics tasks, obtaining the best reported results on seven datasets.

研究の動機と目的

• 文脈依存性のため、BERTのような動的埋め込みが語彙的意味的タスクにおいて制限を受けるという点を解決すること。
• 学習中にBERTの豊富な文脈表現を活用することで、静的単語埋め込みを向上させること。
• 静的スキップグラムモデルの長所と文脈依存的埋め込みの意味の曖昧性解消力の両方を組み合わせる手法を開発すること。
• 従来の静的および動的埋め込み手法と比較して、語の類似性および類推ベンチマークでより優れた性能を達成すること。

提案手法

• 中心語の入力としてBERTの文脈依存的表現を用いることで、BERTの動的単語埋め込みをスキップグラムの学習プロセスに統合する。
• 学習中に、文脈レベルのBERT表現を用いて中心語のベクトルを動的に更新することで、語の意味の曖昧性解消を可能にする。
• モデルは文脈語の予測というスキップグラムの目的関数を維持するが、BERTからの動的インフォームド中心語ベクトルを用いる。
• 最終的な静的単語埋め込みはバックプロパゲーションを通じて学習され、スキップグラムの誘導的バイアスとBERTの意味的豊かさを組み合わせる。
• 事前に定義された語の意味や外部の意味の曖昧性解消ツールに依存せず、エンドツーエンドの学習が可能になる。
• 標準的な語彙的意味的ベンチマーク、特に語の類似性および類推タスクを用いて手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 BERTのような動的文脈埋め込みが、語彙的意味的タスクにおける静的単語埋め込みの向上に効果的に活用可能かどうか。
• RQ2 スキップグラム学習中にBERTの文脈に依存する表現を統合することで、語の類似性および類推タスクの性能にどのような影響を与えるか。
• RQ3 提案手法が、従来の静的埋め込みおよびBERT埋め込みの平均化手法と比較して、語彙的意味的ベンチマークで優れているかどうか。
• RQ4 動的埋め込みの使用が、静的モデルと比較して語の表現における曖昧性をどの程度低減するか。
• RQ5 学習された埋め込みの最近傍探索およびベクトル空間幾何学が、人間の判断およびベースラインモデルと比較してどのように異なるか。

主な発見

• 提案手法は7つの語彙的意味的データセットで報告された最高の結果を達成し、従来の静的埋め込みおよび直接的なBERT平均化手法を上回った。
• 特に「首都・国」および「国籍・形容詞」ペアのような語の類推タスクにおいて、性能が著しく向上した。BERTトークンおよびBERT平均モデルはこのタスクで劣っていた。
• 最近傍探索の分析から、語「while」に対して「whilst」、「whereas」、および「although」といった意味的に整合性のある同義語が正しく検索された。これは、ベースラインと比較して人間の直感に近い結果を示している。
• t-SNE可視化により、モデルの埋め込みが「he/she」や「policeman/policewoman」のような語のペアにおいて一貫した性別類推関係を保持していることが確認された。これは、より優れたベクトル空間幾何学性を示している。
• アテンション可視化により、モデルが意味的に関連する文脈語に高い注目を払い、ストップワード（例：「the」）には低い注目度を示す意味のある注目パターンを学習していることが確認された。
• SynGCNは文法的構造に過剰に依存するため、意味的類推タスクで劣っていた。一方、提案手法は意味と文脈の両方をバランスよく捉え、より頑健な表現を生成した。