[論文レビュー] Topology of Word Embeddings: Singularities Reflect Polysemy

Alexander Jakubowski, Milica Gašić+1 more|arXiv (Cornell University)|Nov 18, 2020

Topological and Geometric Data Analysis参考文献 29被引用数 5

ひとこと要約

本稿では、語の意味的多義性がトポロジカル特異点を引き起こすピンチド多様体上に語埋め込みが存在すると提案する。恒常的ホモロジーを用いてトポロジカル多義性（TPS）を定量化し、語の意味数と強い相関を示すとともに、単純なトポロジー駆動型クラスタリング手法を用いてSemEval-2010の語の意味誘導タスクで競争力ある結果を達成した。

ABSTRACT

The manifold hypothesis suggests that word vectors live on a submanifold within their ambient vector space. We argue that we should, more accurately, expect them to live on a pinched manifold: a singular quotient of a manifold obtained by identifying some of its points. The identified, singular points correspond to polysemous words, i.e. words with multiple meanings. Our point of view suggests that monosemous and polysemous words can be distinguished based on the topology of their neighbourhoods. We present two kinds of empirical evidence to support this point of view: (1) We introduce a topological measure of polysemy based on persistent homology that correlates well with the actual number of meanings of a word. (2) We propose a simple, topologically motivated solution to the SemEval-2010 task on Word Sense Induction & Disambiguation that produces competitive results.

研究の動機と目的

• 語の意味的多義性がトポロジカル特異点を引き起こすため、語埋め込みの標準的多様体仮説に挑戦すること。
• 恒常的ホモロジーに基づく多義性のトポロジカル測度（TPS）を考案し、実際の語の意味数と相関することを示すこと。
• SemEval-2010で競争的な性能を発揮する、単純でトポロジーに根ざした語の意味誘導・分類手法を設計すること。
• 語のベクトル空間におけるトポロジカル構造が意味的多義性を反映しており、語埋め込みの分析・改善に新たな視点を提供することを示すこと。

提案手法

• 語の埋め込み空間を、多義語が同一視された（特異的）点に対応するピンチド多様体としてモデル化する。
• 局所的近傍における各語ベクトルの0次元ホモロジーに基づき、恒常的ホモロジーを用いてトポロジカル多義性スコア（TPS）を計算する。
• パーシステント図をウォッシャースタインノルムで評価し、トポロジカルな複雑さを定量化し、局所的歪みの尺度としてTPSを導出する。
• TPSを用いて近傍サイズの選択をガイドするクラスタリングベースの語の意味誘導手法（OPN）を提案し、クラスタリング性能を向上させる。
• k-meansとDBSCANを用いたクラスタリングを行い、近傍サイズ$ n $とクラスタ数$ k $をTPSによって決定し、分類性能を向上させる。
• 小規模なコーパス上で語ベクトルを学習し、外部コーパスデータに依存せずにSemEval-2010タスクでTPSとクラスタリング性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 語埋め込み空間のトポロジカル構造は、埋め込み空間内の特異点によって示される多義性を反映しているか？
• RQ2 恒常的ホモロジーは、語の意味数と相関する信頼性の高いデータ駆動型多義性測定を提供できるか？
• RQ3 単純でトポロジーに根ざしたクラスタリング手法は、複雑な最先端モデルに劣らず、語の意味誘導で優れた性能を発揮できるか？
• RQ4 トポロジカル情報を組み込むことで、語の意味分類タスクにおけるクラスタリング性能はどの程度向上するか？

主な発見

• 恒常的ホモロジーに基づくトポロジカル多義性スコア（TPS）は、SemEval-2010データセットのゴールドスタンダード語の意味数と強い相関を示した。
• DBSCANと$ n=5000 $の近傍サイズを用いたOPN手法は、複数の複雑なベースラインを上回り、V-measureとF-scoreの積が0.0735に達した。
• OPNは$ n=5000 $でDBSCANを用い、V-measureが0.175、F-scoreが0.420を達成し、SemEval-2010コンテストで上位にランクされた手法の一つとなった。
• 近傍サイズをTPSでガイドすることで、クラスタリング手法の性能が顕著に向上し、大規模で恣意的な近傍サイズの必要性が低下した。
• 学習コーパスの内部情報を得ることなく、語ベクトルの幾何学的・トポロジカル構造のみに依存して、競争力ある結果を達成した。
• 本研究は、多義性に起因する特異点のため、語埋め込み空間が滑らかな多様体ではなくピンチド多様体としてより適切にモデル化されると、実証的証拠を提供した。