[論文レビュー] Unsupervised Word Polysemy Quantification with Multiresolution Grids of Contextual Embeddings

Christos Xypolopoulos, Antoine J.‐P. Tixier+1 more|arXiv (Cornell University)|Mar 23, 2020

Topic Modeling参考文献 41被引用数 3

ひとこと要約

本稿では、文脈的単語埋め込み空間上でマルチスケールグリッドを用いて、語の多義性を無教師でデータ駆動的に定量化する手法を提案する。階層的なグリッドを用いて語ベクトルの空間的カバー範囲を測定することで、WordNet や Wikipedia などのリソースから作成された6つの人間による語の意味ランク付けと強い統計的相関（p < 0.001）を達成し、スケーラブルで言語に依存しない多義性評価の代理指標を提供する。

ABSTRACT

The number of senses of a given word, or polysemy, is a very subjective notion, which varies widely across annotators and resources. We propose a novel method to estimate polysemy, based on simple geometry in the contextual embedding space. Our approach is fully unsupervised and purely data-driven. We show through rigorous experiments that our rankings are well correlated (with strong statistical significance) with 6 different rankings derived from famous human-constructed resources such as WordNet, OntoNotes, Oxford, Wikipedia etc., for 6 different standard metrics. We also visualize and analyze the correlation between the human rankings. A valuable by-product of our method is the ability to sample, at no extra cost, sentences containing different senses of a given word. Finally, the fully unsupervised nature of our method makes it applicable to any language. Code and data are publicly available at https://github.com/ksipos/polysemy-assessment . The paper was accepted as a long paper at EACL 2021.

研究の動機と目的

• 人間による意味インベントリのアノテーションを一切用いずに、完全に無教師でデータ駆動的に語の多義性を推定する手法を開発すること。
• 既存の人工的に作成された語の意味ランク付けと強く相関する、信頼性が高く再現可能な多義性の代理指標を提供すること。
• 追加の計算コストなしに、異なる語の意味を含む文を自動的にサンプリングできること。
• 複数の言語において語の意味インベントリの作成、検証、解釈を支援すること。
• 本手法を用いた自動語の意味誘導の可能性を検討すること。

提案手法

• 多様な文における目標語の文脈的単語埋め込みを、事前学習済み言語モデルを用いて生成する。
• 埋め込み空間に階層的なマルチスケールグリッドを適用し、解像度レベルを l = 1 から L まで段階的に増加させる。
• 各解像度レベルにおける語ベクトルがカバーするグリッドビンの割合を計算し、coveragel_w と定義する。
• 全レベルにわたるカバレッジスコアを重み付き和で集約する：score(w) = Σ(coveragel_w * 2^(L-l)) （l = 1 から L まで）。
• 非一様な埋め込み密度や不均等な空間分割によるバイアスを避けるために、クラスタリングではなくビニングを用いる。
• 得られたグリッド構造を活用し、遠く離れたスパarsely covered ビンから代表的な文をサンプリングすることで、異なる語の意味を特定する。

実験結果

リサーチクエスチョン

• RQ1 提案手法のマルチスケールグリッド法は、多様な言語的リソースにおいて、人間が作成した語の意味ランク付けとどの程度相関するか？
• RQ2 人間の監視なしに、多義的語と単義的語を信頼性高く区別できるか？
• RQ3 グリッドベースの離散化は、特定の語の意味的に異なる文脈をどの程度効果的にサンプリングできるか？
• RQ4 本手法を用いて、ビンの選択とラベル付けを通じて自動語の意味誘導を可能にすることができるか？
• RQ5 本手法は、言語や異なる文脈的埋め込みモデルの間でどの程度一般化可能か？

主な発見

• 提案された多義性スコアは、WordNet や OntoNotes、Oxford からのものも含め、6つの異なる人間が作成した語の意味ランク付けと強い統計的有意性（p < 0.001）を示した。
• 6つの標準評価指標においても高い相関（Spearman’s ρ > 0.75）を達成し、多様なゴールスタンダードリソースに対して堅牢であることが示された。
• 非一様な埋め込み密度や不均等な空間分割によるバイアスを回避できるため、クラスタリングベースの代替手法よりも本手法が優れている。
• グリッド構造における遠く離れたビンを選択することで、異なる語の意味を表す文を計算コストゼロで自動的にサンプリング可能である。
• 無教師の性質のおかげで、低リソース言語を含め、任意の言語で利用可能な文脈的埋め込みが得られる限り、直接応用可能である。
• 本手法は、語の多義性をスケーラブルかつ一貫性を持って評価する代理指標を提供し、語の意味インベントリの作成と検証を支援する。