[論文レビュー] Poincaré Embeddings for Learning Hierarchical Representations

Maximilian Nickel, Douwe Kiela|arXiv (Cornell University)|May 22, 2017

Advanced Graph Neural Networks参考文献 28被引用数 171

ひとこと要約

この論文は、双曲線（Poincaré ball）空間で埋め込みを学習し、階層性と類似性の両方を捉えることを提案し、Euclidean埋め込みと比べて階層データ、ネットワーク、および語彙含意において優れた性能を発揮する。Riemannian最適化を訓練に導入し、WordNetの分類体系、協働ネットワーク、および語彙含意タスクで強力な結果を実証する。

ABSTRACT

Representation learning has become an invaluable approach for learning from symbolic data such as text and graphs. However, while complex symbolic datasets often exhibit a latent hierarchical structure, state-of-the-art methods typically learn embeddings in Euclidean vector spaces, which do not account for this property. For this purpose, we introduce a new approach for learning hierarchical representations of symbolic data by embedding them into hyperbolic space -- or more precisely into an n-dimensional Poincaré ball. Due to the underlying hyperbolic geometry, this allows us to learn parsimonious representations of symbolic data by simultaneously capturing hierarchy and similarity. We introduce an efficient algorithm to learn the embeddings based on Riemannian optimization and show experimentally that Poincaré embeddings outperform Euclidean embeddings significantly on data with latent hierarchies, both in terms of representation capacity and in terms of generalization ability.

研究の動機と目的

• Symbolicデータの潜在階層を反映する表現の学習を動機づける。
• より少ないパラメータで階層性と類似性を捉えるために、ハイペリボリック空間（Poincaré ball）にオブジェクトを埋め込むことを提案する。
• Poincaré ball制約の下で埋め込みを訓練するための効率的なリーマン幾何最適化アルゴリズムを開発する。
• 階層、ネットワーク、語彙含意タスクでの容量と一般化性能の向上を示す。

提案手法

• Bd内の空間にシンボルを埋め込み、距離を d(u,v) = arcosh(1 + 2||u−v||^2 / ((1−||u||^2)(1−||v||^2))) と定義する。
• Riemannian勾配とリトラクション (Rθ(v) = θ + v) を用いてポアンカレ度に調整したユークリッド勾配で損失 L(Θ) を最適化する。
• ||θ|| ≥ 1 の場合には ||θ||を用いた射影 proj(θ) = θ/||θ|| − ε（ε = 1e-5）で埋め込みをボール内に制約する。
• 角度レイアウトを安定化させるために、RSGD/RSVRGなどの確率的/ミニバッチリーマン最適化と、学習率を抑制したブレークイン_phaseを用いる。
• 観測済み階層に対してネガティブサンプリング目的（ソフトランキング）で訓練し、Euclideanおよび平移ベースのベースラインと比較する。
• WordNet名詞階層の再構築とリンク予測、大規模ネットワーク埋め込み、語彙含意タスクによる評価を行う。

実験結果

リサーチクエスチョン

• RQ1 潜在階層を持つデータに対して、ハイペリボリック幾何学がEuclidean幾何学よりパリソニアスな埋め込みを提供できるか。
• RQ2 Poincaré埋め込みは負の曲率バイアスの下で、階層およびネットワークにおける表現容量と一般化を改善するか。
• RQ3 言語内の階層をモデル化する必要がある語彙含意タスクにおいて、Poincaré埋め込みは有効か。
• RQ4 大規模なデータセットでこれらのハイペリボリック埋め込みを訓練する際、リーマン最適化はどの程度機能するか。

主な発見

• Poincaré埋め込みは、WordNet再構築とリンク予測において、EuclideanおよびTranslational手法よりも高いMAPと低い平均ランクを、同等または低次元で達成する。
• ネットワークのリンク予測において、Poincaré埋め込みはEuclidean埋め込みよりも4ネットワークで優れており、特に低次元（例: AstroPh, CondMat, GrQc, HepPh）で顕著。
• 語彙含意タスク（HyperLex）で、階層的 is-a 関係を評価する際にPoincaré埋め込みが最先端の性能を示し、WordNetベースのベースラインを上回る。
• ハイパボリック幾何学は少ないパラメータで強力な階層表現を可能にし、一般化とデータ欠搏に対する頑健性を向上させる。
• リーマン幾何法とPoincaré ballモデルを用いた最適化は大規模データセットへ拡張可能で、並列化（例: Hogwild）も効果的に行える。