[論文レビュー] Efficient Graph-based Word Sense Induction by Distributional Inclusion Vector Embeddings

Haw-Shiuan Chang, Amol Agrawal+5 more|arXiv (Cornell University)|Apr 9, 2018

Topic Modeling参考文献 28被引用数 3

ひとこと要約

本稿では、分布的包含ベクトル埋め込み（DIVE）を用いてグローバルな非負の基底を構築することで、高価な近隣探索を回避する、効率的なグラフベースの意味素誘導手法を提案する。各語のエゴネットにおける基底インデックスのクラスタリングにより、WSDベンチマークで最先端の性能を達成するとともに、従来のグラフベース手法に比べて計算効率を顕著に向上させる。

ABSTRACT

Word sense induction (WSI), which addresses polysemy by unsupervised discovery of multiple word senses, resolves ambiguities for downstream NLP tasks and also makes word representations more interpretable. This paper proposes an accurate and efficient graph-based method for WSI that builds a global non-negative vector embedding basis (which are interpretable like topics) and clusters the basis indexes in the ego network of each polysemous word. By adopting distributional inclusion vector embeddings as our basis formation model, we avoid the expensive step of nearest neighbor search that plagues other graph-based methods without sacrificing the quality of sense clusters. Experiments on three datasets show that our proposed method produces similar or better sense clusters and embeddings compared with previous state-of-the-art methods while being significantly more efficient.

研究の動機と目的

• 高価な近隣探索に依存するグラフベースの意味素誘導（WSI）手法の高い計算コストを解消すること。
• 多義語の語のクラスタリング品質を維持または向上させながら、WSIの効率を改善すること。
• ターゲット語の文脈に適応するトピックベースの表現を活用することで、あまり一般的でない意味素の発見を可能にすること。
• トピックに類似した基底ベクトルを用いた、スケーラブルで解釈可能な非教師付き意味素誘導フレームワークを提供すること。
• トピックベースの基底構築が、性能を損なわずに単語レベルの類似度計算を置き換えられることを示すこと。

提案手法

• まず、分布的包含ベクトル埋め込み（DIVE）を用いて、共起順序を保持したまま袋の単語表現を圧縮するグローバルな非負のベクトル埋め込み基底を学習する。
• 各語は基底ベクトル（トピック）の組み合わせとして表現され、多義語の各語について、DIVEがターゲット語に対するトピック関連性をモデル化できる能力に基づき、関連する基底インデックスを同定する。
• ノードが基底インデックス（トピック）を表すグラフを構築し、DIVEの文脈に適応したトピック-語確率を用いて、ターゲット依存の類似度で重み付けされたエッジを計算する。
• 各ターゲット語のエゴネットに対してグラフクラスタリングを適用し、意味クラスタを発見する。クラスタ数は階層的に決定される。
• 全語彙の近隣探索を避けるために、生の語ではなく基底インデックス上で処理を行うことで、計算コストを顕著に削減する。
• 標準的なWSIベンチマーク（TWSIおよびSemEval-2013）を用いて評価し、文脈埋め込み類似度に基づく意味予測を実施する。

実験結果

リサーチクエスチョン

• RQ1 トピックベースの基底表現が、単語レベルの近隣探索を置き換えても、性能を維持または向上させることができるか？
• RQ2 DIVEを用いてターゲット依存のトピック類似度を計算することで、従来の語空間手法に比べてより正確かつ効率的な意味クラスタリングが可能になるか？
• RQ3 事前に定義された意味語彙に依存せずに、本手法があまり一般的でない意味素を効果的に発見できるか？
• RQ4 従来のグラフベースWSIアプローチと比較して、本手法の計算効率はどの程度スケーリング可能か？
• RQ5 DIVE次元数の選択が、クラスタリング品質および効率にどの程度影響を与えるか？

主な発見

• 提案手法はTWSIベンチマークで最先端の性能を達成し、バランスTWSIにおけるF1スコアは67.4を記録し、ベースラインのWG手法を上回った。
• SemEval-2013タスクでは、ジャッカードインデックス22.1およびファジィNMI 3.5を達成し、他のSOTA手法と同等またはそれ以上の主要指標を達成した。
• 単語レベルの近隣探索を基底インデックスのクラスタリングに置き換えることで、計算コストを顕著に削減し、大規模語彙への効率的スケーリングを可能にした。
• DIVEに基づく基底学習により、文脈に適応したトピック選択が可能になり、各ターゲット語に関連するトピックに焦点を当てることで、意味クラスタリングの正確性が向上した。
• 意味数が事前に定義されていなくても本手法は良好に動作し、階層的クラスタリングおよび複数の解像度レベルをサポートした。
• 実験の結果、DIVE次元数を100から300に増加させることで性能がわずかに向上したことが示され、より高次元の表現がより繊細な意味の違いを捉えるのに寄与することが示唆された。