[論文レビュー] Skip-gram word embeddings in hyperbolic space

Matthias Leimeister, Benjamin J. Wilson|arXiv (Cornell University)|Aug 30, 2018

Topic Modeling参考文献 28被引用数 24

ひとこと要約

本稿では、双曲空間の双曲面モデルを用いたハイパーボリックスキップグラムモデルを提案し、双曲距離に基づく勾配ベースの目的関数を導出する。実験では、語の類似性およびアナロジー課題において、低次元（例：20次元）でユークリッド空間の対応する手法を上回る性能を示すが、次元が高くなると性能が低下し、曲がった空間におけるアナロジー課題の修正定式化を提示する。

ABSTRACT

Recent work has demonstrated that embeddings of tree-like graphs in hyperbolic space surpass their Euclidean counterparts in performance by a large margin. Inspired by these results and scale-free structure in the word co-occurrence graph, we present an algorithm for learning word embeddings in hyperbolic space from free text. An objective function based on the hyperbolic distance is derived and included in the skip-gram negative-sampling architecture of word2vec. The hyperbolic word embeddings are then evaluated on word similarity and analogy benchmarks. The results demonstrate the potential of hyperbolic word embeddings, particularly in low dimensions, though without clear superiority over their Euclidean counterparts. We further discuss subtleties in the formulation of the analogy task in curved spaces.

研究の動機と目的

• 語の共起グラフが階層的かつスケールフリーな構造を示すことに鑛め、双曲空間が自然言語データの語埋め込み品質を向上させられるかどうかを調査すること。
• 双曲面モデルを用いて、双曲空間におけるスキップグラム語埋め込みの微分可能な目的関数を開発すること。
• 語の類似性およびGoogleアナロジーデータセットを含む標準的なNLPベンチマークにおいて、ハイパーボリック埋め込みの性能を評価すること。
• ユークリッドでない、負の曲率を持つ多様体（例：双曲空間）への語アナロジー課題の一般化の課題に取り組むこと。
• 分布的意味論および階層的言語構造のモデリングに、双曲幾何が果たせる可能性を調査すること。

提案手法

• 本稿では、語のベクトルをミンコフスキー空間における特定の二次形式を持つ点としてパラメータ化する、双曲空間の双曲面モデルを埋め込み多様体として採用する。
• 文脈語とターゲット語の間の双曲距離に基づく損失関数を導出し、ネガティブサンプリングを組み合わせたスキップグラムフレームワークに適応する。
• リーマン最適化を用いて勾配更新を実行し、接ベクトルは対数写像と並行移動を用いて幾何的整合性を維持する。
• アナロジー課題は測地線経路を用いて再定義される：A:B = C:D であるとき、Dは点Cからベクトル Log_A(B) を並行移動することで得られる点として計算される。
• オリジナルのword2vecと同様に、負例サンプリングを用いた確率的勾配降下法でモデルを学習するが、双曲幾何の制約を組み込む。
• 著者らは、語の類似性およびGoogleアナロジーデータセットにおいて、複数の次元（5, 20, 50, 100）で標準的なユークリッドスキップグラムと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーボリック語埋め込みは、標準的なNLP評価ベンチマークでユークリッドスキップグラムモデルを上回る性能を示せるか？
• RQ2 特に低次元空間において、ハイパーボリック埋め込みの性能は次元に依存してどのように変化するか？
• RQ3 測地線経路の非可換性を鑑み、ハイパーボリック空間における語アナロジー課題の正しい幾何的定式化は何か？
• RQ4 語の共起グラフの階層的構造は、双曲空間の指数的体積増加の恩恵を受けるか？
• RQ5 ユークリッドの代替手法と比較して、双曲距離に基づく目的関数の選択が学習に与える影響は何か？

主な発見

• 次元20において、ハイパーボリック語埋め込みはGoogleアナロジーデータセットでユークリッドスキップグラムを上回る精度（0.2251 vs. 0.2089）を達成し、低次元での性能向上を示している。
• 次元50において、ハイパーボリック埋め込みはユークリッドベースラインを下回る（0.3536 vs. 0.3866）ため、高次元での性能低下が生じている。
• ハイパーボリック空間におけるアナロジー課題では、経路（B経由またはC経由）によって2つの異なる結果が得られるが、Log_A(B) を用いた正しい定式化では顕著に優れた結果（0.2251）が得られ、代替手法（0.0365）は著しく劣る。
• 最も低い次元（5）では、両モデルとも精度がほぼゼロに近くなり、非常に低次元の双曲空間における退化が顕著に現れている。
• 双曲距離に基づく提案された目的関数は、双曲空間における語埋め込みの有効な学習を可能にするが、次元やタスクの定式化に敏感であることが判明した。
• 本研究は、データに階層的構造が存在する場合、特に低次元多様体において、双曲幾何が語埋め込みに有益であることを確認した。