[論文レビュー] Learning Continuous Hierarchies in the Lorentz Model of Hyperbolic Geometry

Maximilian Nickel, Douwe Kiela|arXiv (Cornell University)|Jun 9, 2018

Complex Network Analysis Techniques被引用数 85

ひとこと要約

本論文は、対の類似度から連続的な階層を学ぶための Lorentz-model ハイパーボリック埋め込み法を提案し、Poincaré 埋め込みより性能が向上することを示す。特に低次元で顕著で、 taxonomy、Enron、歴史言語データでの検証を行う。

ABSTRACT

We are concerned with the discovery of hierarchical relationships from large-scale unstructured similarity scores. For this purpose, we study different models of hyperbolic space and find that learning embeddings in the Lorentz model is substantially more efficient than in the Poincar\\'e-ball model. We show that the proposed approach allows us to learn high-quality embeddings of large taxonomies which yield improvements over Poincar\\'e embeddings, especially in low dimensions. Lastly, we apply our model to discover hierarchies in two real-world datasets: we show that an embedding in hyperbolic space can reveal important aspects of a company's organizational structure as well as reveal historical relationships between language families.

研究の動機と目的

• 無秩序なペアワイズ類似度スコアから階層関係を推定する方法を開発する。
• Lorentzモデルの超双曲空間で効率的な最適化手法を開発する。
• 埋め込みノルムを通じて概念の一般性を、距離を通じて関連性を明らかにできることを示す。
• 大規模な分類体系や実世界データセットへのスケーラビリティを評価する。
• Lorentz-model 埋め込みと Poincaré 埋め込みを比較し、特に低次元で改善を実証する。

提案手法

• Riemannian 最適化を用いた Lorentz-model ハイパーボリック埋め込みフレームワークを提案する。
• Lorentz 距離 d_ell(x,y)=arcosh(-<x,y>_L) および指数写像を用いて測地線に沿って更新を行う。
• 超双曲面の接空間への射影によってリーマン勾配を計算する。
• 埋め込みを双曲面上の原点近傍で初期化し、必要に応じて可視化のために Poincaré disk に写像する。
• 局所近傍のランキング目的関数（Eq. 12）を最適化することにより、対の類似度行列から階層を推定するためにハイパーボリック埋め込みを拡張する。
• 大規模な分類体系で、Poincaré 埋め込みと比較して最適化効率と埋め込み品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーボリック埋め込みを用いて、対の類似度データから連続的な階層を回復できるか。
• RQ2 Lorentzモデルは、特に低次元で、Poincaréモデルよりも効率的で高品質な埋め込みを実現できるか。
• RQ3 埋め込みノルムは潜在階層における概念の一般性の指標として機能するか。
• RQ4 Lorentz-model ハイパーボリック埋め込みは大規模な実世界データセットにどれだけスケールし、有意義な構造（組織、語族など）をどの程度明らかにできるか。

主な発見

• Lorentz-model 埋め込みは Poincaré 埋め込みより著しく高品質であり、特に 2D および 5D の設定で顕著である。
• 大規模な分類体系では、2Dおよび5Dの Lorentz 埋め込みが Poincaré 埋め込みより相対的に大きな改善を示す（例：2D で WordNet Nouns において MR が最大で 74.8% 向上）。
• 埋め込みノルムは概念の一般性と相関し、階層的ランキングの代理指標を提供する。
• Enron および cognate データへの適用は、グラウンドトゥルース階層と一致する組織構造と歴史的言語関係を明らかにする。
• Lorentz 最適化は Poincaré 距離の数値的不安定性を回避し、測地線に沿って効率的に更新するため、最適化の結果を改善する。