[論文レビュー] Local Homology of Word Embeddings

Tadas Temčinas|arXiv (Cornell University)|Oct 24, 2018

Topological and Geometric Data Analysis被引用数 3

ひとこと要約

本稿では、局所ホモロジーに基づく新しい教師なしクラスタリング手法を提案し、語の分散表現データを分析する。トポロジカル・データ解析（TDA）を活用して、高次元ベクトル空間内の構造的パターンを検出する。語の分散表現における最初の局所ホモロジー群、特に同音異義語（例：'bank'）のものから、複数の語義に対応するトポロジカルな特徴が明らかになり、語の意味の解釈のための可能性を示唆している。

ABSTRACT

Topological data analysis (TDA) has been widely used to make progress on a number of problems. However, it seems that TDA application in natural language processing (NLP) is at its infancy. In this paper we try to bridge the gap by arguing why TDA tools are a natural choice when it comes to analysing word embedding data. We describe a parallelisable unsupervised learning algorithm based on local homology of datapoints and show some experimental results on word embedding data. We see that local homology of datapoints in word embedding data contains some information that can potentially be used to solve the word sense disambiguation problem.

研究の動機と目的

• トポロジカル・データ解析（TDA）と自然言語処理（NLP）の間のギャップを埋めるために、TDAを語の分散表現データに適用すること。
• 局所ホモロジーが語の意味の解釈（WSD）に関連する語の分散表現における構造的情報を捉えられるかを調査すること。
• 語ベクトルに基づく並列化可能で教師なしのクラスタリングアルゴリズムを開発・実装すること。
• アルゴリズムが事前学習済み語の分散表現における同音異義語のトポロジカル・シグネチャを検出できるかを評価すること。

提案手法

• 本手法は、事前学習済み語の分散表現に対してベイツ＝リップス複体構成を用いて、語ベクトルの局所ホモロジー群を計算する。
• 局所ホモロジーは、星（star）とその境界の相対ホモロジーとして定義される：各語ベクトル σ に対して Hσ• = H•(st(σ), ∂st(σ)) である。
• 局所ベッチー数の計算に整数係数を用いた単体的ホモロジーを用い、特に第1および第2の局所ベッチー数に注目する。
• クラスタリングは、同型な局所ホモロジー群を持つ語ベクトルをグループ化することで実施され、共通するトポロジカル構造が意味的類似性を示すと仮定する。
• 本手法は、異なるコーパスで学習されたスキップグラムおよびCBOW語の分散表現の2つのデータセットに適用される。
• アルゴリズムは実装され、公開されており、トポロジカル・パーシステンスを調査するために、さまざまな ϵ 値での分析が行われた。

実験結果

リサーチクエスチョン

• RQ1 語の分散表現における局所ホモロジーは、'bank' のような同音異義語の語の意味の曖昧さのトポロジカル・シグネチャを検出できるか？
• RQ2 語ベクトルの最初の局所ホモロジー群は、異なる意味に対応する明確な意味的文脈を反映しているか？
• RQ3 局所ホモロジー群は、分散空間におけるノイズや摂動に対してどれほど安定しているか？
• RQ4 標準的な局所ホモロジーと比較して、持続的局所ホモロジーは、より高いロバスト性とクラスタリング品質を実現できるか？
• RQ5 第2の局所ホモロジー群は、語ベクトルの周囲の「類似性ループ」をどのように捉えているか？

主な発見

• 両方のデータセットにおける語 'bank' の第1の局所ホモロジー群は、非自明な構造を示しており、複数の意味があるというトポロジカルな証拠を示している。
• スキップグラムデータセットでは、'bank' の第1の局所ベッチー数は2であった。これは、川のほとりと金融機関という2つの明確なトポロジカル・コンポーネントに対応していることを示唆している。
• スキップグラムデータセットにおける第2の局所ホモロジー群は、'savings'、'deposit'、'fund'、'institution' を含むサイクルを示しており、意味的類似性のループを示している。
• CBOWデータセットでは、'corporation' の第2の局所ベッチー数は2であったが、そのサイクルはスキップグラムモデルとは異なるものであった。
• 局所ホモロジー群の同型条件が厳しすぎるため、アルゴリズムはほとんど自明なクラスタを生成しており、ノイズやデータ構造への感受性が示された。
• 持続的局所ホモロジーが、安定性とクラスタリング性能の向上のためのよりロバストな代替手法であると示唆されている。