[論文レビュー] Multi-relational Poincaré Graph Embeddings

Ivana Balažević, Carl Allen+1 more|arXiv (Cornell University)|May 23, 2019

Advanced Graph Neural Networks参考文献 38被引用数 29

ひとこと要約

本稿では、Möbius行列-ベクトル乗算およびMöbius加算を用いて双曲空間における関係固有の変換を学習する、多関係的Poincaréグラフ埋め込みモデルMuRPを提案する。双曲空間が複数の同時的な階層をより効果的に表現できる能力のおかげで、階層的なWN18RRデータセットにおけるリンク予測において、ユークリッドモデルや最先端のモデルを上回り、特に次元が低い場合に顕著な性能向上を示す。

ABSTRACT

Hyperbolic embeddings have recently gained attention in machine learning due to their ability to represent hierarchical data more accurately and succinctly than their Euclidean analogues. However, multi-relational knowledge graphs often exhibit multiple simultaneous hierarchies, which current hyperbolic models do not capture. To address this, we propose a model that embeds multi-relational graph data in the Poincaré ball model of hyperbolic space. Our Multi-Relational Poincaré model (MuRP) learns relation-specific parameters to transform entity embeddings by Möbius matrix-vector multiplication and Möbius addition. Experiments on the hierarchical WN18RR knowledge graph show that our Poincaré embeddings outperform their Euclidean counterpart and existing embedding methods on the link prediction task, particularly at lower dimensionality.

研究の動機と目的

• 既存の双曲モデルが多関係的知識グラフにおける複数の同時的な階層を捉える能力に制限を抱えているという点を解決すること。
• 階層構造を保持する双曲空間における関係固有の埋め込みを学習する理論的根拠に基づく手法を開発すること。
• Poincaré埋め込みが、階層的な多関係的データにおいて次元が低い設定でもユークリッド埋め込みを上回ることを実証すること。
• Poincaré埋め込みとユークリッド埋め込みの幾何学的および表現的性質を比較すること、特に収束性と影響範囲のダイナミクスを含む。

提案手法

• 本モデルは、階層的データに適した一定の負の曲率を持つPoincaréボールモデルを用いてエンティティと関係を表現する。
• エンティティ埋め込みの関係固有の変換を学習するために、Möbius行列-ベクトル乗算およびMöbius加算を適用する。
• 各関係は変換行列とバイアス・ベクトルに関連付けられ、関係ごとに異なる階層的組織を可能にする。
• リンクの尤度を予測するスコア関数は、双曲距離に基づき、確率出力を得るためにシグモイド活性化関数を用いる。
• 埋め込みの最適化は、Poincaré多様体上で実行されるリーマン的確率的勾配降下法を用いる。
• 各エンティティの影響範囲はそのバイアスによって定義され、ノルムが大きいほどPoincaré円板内での半径も大きくなる。

実験結果

リサーチクエスチョン

• RQ1 複数の同時的な階層を有する多関係的知識グラフは、双曲空間に効果的に表現可能か？
• RQ2 PoincaréボールにおけるMöbius演算に基づく平行移動モデルは、階層的データのリンク予測においてユークリッドモデルを上回るか？
• RQ3 Poincaré埋め込みの次元は、ユークリッド埋め込みと比較して、リンク予測の高いパフォーマンスを達成するためにどの程度効率的か？
• RQ4 学習済み埋め込みの幾何学的挙動、特にノルム-バイアス相関および真陽性と偽陽性の空間的分離性はいかなるものか？

主な発見

• MuRPは、階層的なWN18RRデータセットにおけるリンク予測タスクで最先端のパフォーマンスを達成し、そのユークリッド版MuREや既存のモデルを上回った。
• WN18RRデータセットにおいて、MuRPは「instance_hypernym」関係で平均逆順位（MRR）0.488を達成し、次に優れた手法を上回った。
• 同様のパフォーマンスを達成するために、ユークリッドモデルに比べてはるかに少ない次元数で十分であることが示され、階層的データに対する双曲幾何の効率性が裏付けられた。
• WN18RRにおけるモデルの偽陽性の多くは、実際には欠落している事実（例：マレーシアのような国）であることが示され、現在の評価プロトコルの信頼性に疑問が呈された。
• 可視化により、Poincaré埋め込みは円盤の境界付近に空間が広がるため、真陽性と偽陰性をより効果的に分離していることが明らかになった。
• 埋め込みベクトルのノルムとバイアスの間に強い相関が観察され、原点から遠く離れたエンティティはより大きな影響範囲を持つことが示された。