[論文レビュー] Poincaré GloVe: Hyperbolic Word Embeddings

Alexandru Ţifrea, Gary Bécigneul+1 more|arXiv (Cornell University)|Oct 15, 2018

Topic Modeling参考文献 9被引用数 94

ひとこと要約

著者らは語をデカルト積の双曲空間に埋め込み、Gaussian Fisher幾何学と結びつけ、Gloveを適応させて教師なしの超双曲語埋め込みを学習し、類似性・アナロジー・上位語タスクを改善する。

ABSTRACT

Words are not created equal. In fact, they form an aristocratic graph with a latent hierarchical structure that the next generation of unsupervised learned word embeddings should reveal. In this paper, justified by the notion of delta-hyperbolicity or tree-likeliness of a space, we propose to embed words in a Cartesian product of hyperbolic spaces which we theoretically connect to the Gaussian word embeddings and their Fisher geometry. This connection allows us to introduce a novel principled hypernymy score for word embeddings. Moreover, we adapt the well-known Glove algorithm to learn unsupervised word embeddings in this type of Riemannian manifolds. We further explain how to solve the analogy task using the Riemannian parallel transport that generalizes vector arithmetics to this new type of geometry. Empirically, based on extensive experiments, we prove that our embeddings, trained unsupervised, are the first to simultaneously outperform strong and popular baselines on the tasks of similarity, analogy and hypernymy detection. In particular, for word hypernymy, we obtain new state-of-the-art on fully unsupervised WBLESS classification accuracy.

研究の動機と目的

• 教師なし embeddingsで階層的かつ非対称な語関係を明らかにする必要性を喚起する。
• 木構造のような性質を反映するために、デカルト積の双曲空間に語を埋め込むことを提案する。
• 双曲埋め込みとGaussian Fisher幾何学の結びつきを確立し、原理的な上位語スコアを導出する。
• Gloveの訓練フレームワークを双曲流形に適応し、リーマン幾何学的平行輸送によるアナロジーを可能にする。

提案手法

• 語を双曲空間の積（Poincaré ballと関連モデル）に埋め込み、損失に微分可能な距離 d を用いる。
• Euclidean Glove 損失を J = sum_{i,j} f(X_{ij})(-h(d(w_i, 伺t_j)) + b_i + 伺t_j - log X_{ij})^2, where h is a chosen function (e.g., h(x)=x^2 or h(x)=cosh^2(x)).
• ガウシアンのFisher幾何を利用して双曲埋め込みを対角ガウシアン埋め込みへ写像し、原理的な is-a 上位語スコアを可能にする。
• リーマン幾何最適化（Radagrad）を用い、並行輸送を活用して双曲空間でアナロジーを計算する。
• 等長変換を適用して一般語セットと特定語セットを整列させてから上位語スコアを導出する。
• 全語彙の結果を改善するために、制限された語彙で事前学習を行う初期化トリックを活用する。

実験結果

リサーチクエスチョン

• RQ1 超曲線幾何学は教師なし設定でEuclidean空間よりも語の潜在的階層構造を捉えられるか。
• RQ2 Hyperbolic Glove埋め込みは語の類似性、アナロジー、上位語のベンチマークで同時に性能を向上させるか。
• RQ3 Hyperbolic 埋め込みとGaussian Fisher幾何の結びつきを用いて原理的な内在的上位語スコアを定義できるか。
• RQ4 モデルの次元数と初期化が教師なしの超曲線語埋め込みに与える影響は何か。

主な発見

• 100Dおよび50x2Dの双曲モデルは、類似性タスクで一般的にEuclidean Gloveベースラインを上回る。
• h(x)=x^2 を用いた50x2Dモデルは、上位語の教師なしWBLESS精度で最先端の成績を達成し、Weak supervisionでHyperLexの競争力ある結果を示す。
• 100Dの双曲埋め込みは、類似性およびアナロジーのベンチマークで最良の全体性能をしばしば示す。
• 双曲埋め込みとGaussian埋め込みの間にはFisher距離を介した原理的な写像があり、解釈可能な上位語スコアを可能にする。
• 初期化（小さな語彙での事前学習）は、タスク全体の性能を向上させる。