[論文レビュー] Neural Embeddings of Graphs in Hyperbolic Space

Benjamin Paul Chamberlain, James R. Clough+1 more|arXiv (Cornell University)|May 29, 2017

Advanced Graph Neural Networks参考文献 16被引用数 59

ひとこと要約

論文は hyperbolic Skipgram モデルを介して双曲空間におけるニューラルグラフ埋め込みを導入し、Euclidean 埋め込みと比較して実世界ネットワークのいくつかで頂点帰属の性能を向上させることを示す。

ABSTRACT

Neural embeddings have been used with great success in Natural Language Processing (NLP). They provide compact representations that encapsulate word similarity and attain state-of-the-art performance in a range of linguistic tasks. The success of neural embeddings has prompted significant amounts of research into applications in domains other than language. One such domain is graph-structured data, where embeddings of vertices can be learned that encapsulate vertex similarity and improve performance on tasks including edge prediction and vertex labelling. For both NLP and graph based tasks, embeddings have been learned in high-dimensional Euclidean spaces. However, recent work has shown that the appropriate isometric space for embedding complex networks is not the flat Euclidean space, but negatively curved, hyperbolic space. We present a new concept that exploits these recent insights and propose learning neural embeddings of graphs in hyperbolic space. We provide experimental evidence that embedding graphs in their natural geometry significantly improves performance on downstream tasks for several real-world public datasets.

研究の動機と目的

• 自然な非ユークリッド幾何学でグラフを埋め込む動機づけ。
• Skipgram 埋め込みフレームワークの双曲空間アナログを開発する。
• 実世界ネットワーク全体で頂点帰属タスクの性能向上を示す。

提案手法

• Skipgram のユークリッドベクトル空間を two Poincaré disks に置き換え、グラフを双曲空間に埋め込む。
• 入力頂点から文脈頂点を予測する際、双曲内積と softmax（ネガティブサンプリングを用いて）を使用。
• 訓練後に Poincaré disk に写像する前提で自然な双曲座標系での backpropagation 更新を導出。
• DeepWalk のように、グラフ上のランダムウォークを用いて input-context ペアを作成し埋め込みを訓練。
• 複数データセットで macro F1 を用いて頂点帰属タスクの評価。

実験結果

リサーチクエスチョン

• RQ1 双曲空間にグラフを埋め込むと、Euclidean 埋め込みより頂点帰属の性能が向上するか？
• RQ2 Skipgramスタイルの訓練を双曲幾何でどのように定式化・最適化できるか？
• RQ3 双曲埋め込みは実世界ネットワークのコミュニティ構造や分類を明らかにするか、または強化するか？

主な発見

• Hyperbolic embeddings は複数データセットで頂点帰属の点で Euclidean DeepWalk embeddings を上回る。
• 2D hyperbolic space は視覚化で明確なコミュニティ構造を提供する（例：karate ネットワーク）ことが Euclidean 埋め込みでは欠如している。
• Hyperbolic embeddings はデータセットごとに異なるラベル付きデータの割合でより高い macro F1 スコアを達成する。
• 自然な階層的・べき乗則を持つネットワークの埋め込みの利点が実験で観察される。