[論文レビュー] Let's Play Mono-Poly: BERT Can Reveal Words' Polysemy Level and Partitionability into Senses

Aina Garí Soler, Marianna Apidianaki|arXiv (Cornell University)|Apr 29, 2021

Natural Language Processing Techniques参考文献 56被引用数 13

ひとこと要約

本稿は、BERTおよび多言語BERTが語彙的多義性および意味的区分可能性をどの程度にわたり知識としてエンコードしているかを評価する、きめ細やかな実験フレームワークを提案する。頻度および品詞を制御したバランスの取れたデータセットを用い、著者らはBERT表現が単義的語と多義的語を効果的に区別でき、意味のクラスタリングがどの程度容易かを推定できることを示している。英語BERTでは優れたパフォーマンスを示し、他の言語に対しても顕著な結果が得られている。

ABSTRACT

Pre-trained language models (LMs) encode rich information about linguistic structure but their knowledge about lexical polysemy remains unclear. We propose a novel experimental setup for analysing this knowledge in LMs specifically trained for different languages (English, French, Spanish and Greek) and in multilingual BERT. We perform our analysis on datasets carefully designed to reflect different sense distributions, and control for parameters that are highly correlated with polysemy such as frequency and grammatical category. We demonstrate that BERT-derived representations reflect words' polysemy level and their partitionability into senses. Polysemy-related information is more clearly present in English BERT embeddings, but models in other languages also manage to establish relevant distinctions between words at different polysemy levels. Our results contribute to a better understanding of the knowledge encoded in contextualised representations and open up new avenues for multilingual lexical semantics research.

研究の動機と目的

• 文脈に依存する言語モデル（例：BERT）が語彙的多義性および意味構造に関する知識をエンコードしているかどうかを調査すること。
• 多義性分析において、語の頻度や文法的カテゴリーなどの混同要因を制御すること。
• BERT表現が、語の意味空間がどの程度明確な意味に分割可能かを推定できるかを評価すること。
• 英語、フランス語、スペイン語、ギリシャ語の単言語BERTモデルと多言語BERTを比較し、多義性関連の情報をどの程度捉えられるかを検証すること。
• 文脈埋め込みにおける意味構造を分析するための、言語や分野に応じて適用可能なメソドロジカルフレームワークを提供すること。

提案手法

• 著者らは、単義的語と多義的語の両方にわたる意味分布を制御し、頻度および品詞の分布をバランスさせるデータセットを設計した。
• 複数の層からのBERT表現を用い、文脈に依存するトークン表現のコサイン距離行列に対して階層的クラスタリングを適用した。
• クラスタビリティはシルエット（sil）、分散比（vr）、分離度（sep）の指標で評価し、ゴールドスタンダードの意味類似度判断（Uiaa、Umid）と相関させた。
• 人間による意味類似度のアノテーション（Usim）から導出された指標と、クラスタビリティ推定値との間でスピアマンのrho相関を計算した。
• BERT表現の各層ごとの評価を実施し、多義性に関する知識がネットワークの深さにわたってどのように分布しているかを分析した。
• 自動的意味推定の品質を検証するため、手動で整備された代替語（Gold-sub）とBERT由来の表現を比較した。

実験結果

リサーチクエスチョン

• RQ1 BERT表現は、異なる言語およびモデル構成において、単義的語と多義的語を区別できるか？
• RQ2 BERT表現は、語の意味がどの程度明確な意味に区分可能かをどの程度反映しているか？
• RQ3 BERTによる多義性および意味クラスタビリティの推定性能は、人間がアノテートした代替語と比較してどの程度優れているか？
• RQ4 BERTにおける多義性関連の知識は、事前学習段階で獲得されたものか、それとも推論時に文脈によって形成されたものか？
• RQ5 BERTアーキテクチャの異なる層において、多義性およびクラスタビリティ推定のパフォーマンスはどのように変化するか？

主な発見

• 階層的クラスタリングをBERT由来表現に適用した際、シルエット指標を用いた場合、ゴールドスタンダードのアノテーター間一貫性（Uiaa）と強い相関（ρ = 0.80）を示した。
• 最も優れたBERT表現（BERT-Agg）は、Uiaaとρ = 0.69の相関を示し、手動代替語ベースの手法（ρ = 0.20–0.34）を著しく上回った。
• Umidに関しては、BERT-Repにおけるシルエット指標がρ = -0.46を示し、強い負の相関を示し、意味クラスタビリティの推定が効果的であった。
• 多義性検出性能は、BERTの深い層で向上し、Uiaaでは層10でピークに達した。一方、Umid予測は非単調的パターンを示し、層3および層8でピークを記録した。
• 英語BERTは多義性および意味の区分可能性を捉える性能が最も高く、フランス語、スペイン語、ギリシャ語のBERTモデルに対しても有意義な区別がなされていた。
• 結果から、BERTにおける多義性関連の知識は主に事前学習段階で獲得され、文脈表現を通じて安定的に利用可能であることが確認された。