[論文レビュー] Hyperbolic Graph Convolutional Neural Networks

Ines Chami, Rex Ying+2 more|arXiv (Cornell University)|Oct 28, 2019

Advanced Graph Neural Networks参考文献 52被引用数 263

ひとこと要約

HGCNは訓練可能な曲率を用いてG CNを超球面空間へ拡張し、階層的でスケールフリーなグラフに対する帰納的学習を可能にし、リンク予測とノード分類を改善する。

ABSTRACT

Graph convolutional neural networks (GCNs) embed nodes in a graph into Euclidean space, which has been shown to incur a large distortion when embedding real-world graphs with scale-free or hierarchical structure. Hyperbolic geometry offers an exciting alternative, as it enables embeddings with much smaller distortion. However, extending GCNs to hyperbolic geometry presents several unique challenges because it is not clear how to define neural network operations, such as feature transformation and aggregation, in hyperbolic space. Furthermore, since input features are often Euclidean, it is unclear how to transform the features into hyperbolic embeddings with the right amount of curvature. Here we propose Hyperbolic Graph Convolutional Neural Network (HGCN), the first inductive hyperbolic GCN that leverages both the expressiveness of GCNs and hyperbolic geometry to learn inductive node representations for hierarchical and scale-free graphs. We derive GCN operations in the hyperboloid model of hyperbolic space and map Euclidean input features to embeddings in hyperbolic spaces with different trainable curvature at each layer. Experiments demonstrate that HGCN learns embeddings that preserve hierarchical structure, and leads to improved performance when compared to Euclidean analogs, even with very low dimensional embeddings: compared to state-of-the-art GCNs, HGCN achieves an error reduction of up to 63.1% in ROC AUC for link prediction and of up to 47.5% in F1 score for node classification, also improving state-of-the art on the Pubmed dataset.

研究の動機と目的

• Euclidean GCNsがスケールフリーおよび階層的グラフに対して生じる歪みの限界を動機づける。
• Euclidean特徴を超球面空間へ写像する帰納的なハイパーボリックグラフ畳み込み演算を開発する。
• 低歪み埋め込みのためのハイパーボリックアテンションベースの集約と層ごとの曲率学習を提案する。
• ハイパーボリック特徴変換、集約、曲率の層間のエンドツーエンド訓練を可能にする。
• 実世界の階層データセットを用いたリンク予測とノード分類で最先端の性能を示す。

提案手法

• 超球面空間のハイパーボリック空間におけるG CN様式の特徴変換と近傍集約を導出する。
• 参照北極点での指数写像を介してユークリッド入力特徴をハイパーボリック埋め込みへ写像する。
• 対数写像と指数写像を用いて接空間で変換を行うハイパーボリック・マトリックス乗算を定義する。
• 曲率を考慮したソフトマックス重み付けを用いた局所接空間で動作するハイパーボリックアテンションベースの集約を導入する。
• 層間でハイパーボリック空間間の遷移を可能にする学習可能な曲率を持つ非線形活性化を実装する。
• エンドツーエンド訓練を伴うリンク予測のためのフェルミ-ディアックデコーダとノード分類のための接空間ロジスティック回帰を用い、重み・曲率・アテンションを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド入力特徴をグラフ表現学習に適したハイパーボリック埋め込みへ効果的に変換できるか。
• RQ2 ハイパーボリック空間で近傍集約をどのように行い、階層的グラフ構造を捉えるか。
• RQ3 GCN層ごとに異なる訓練可能な曲率を許容することが表現品質と最適化にどのような影響を与えるか。
• RQ4 ハイパーボリックG CN はリンク予測とノード分類のためのスケールフリーおよび階層的グラフで帰納学習を改善するか。
• RQ5 ハイパーボリックアテンション機構は階層を保持する点でユークリッドアテンションと比較してどうか。

主な発見

• HGCNはスケールフリーおよび階層的グラフ上でユークリッドGNNより有意に改善し、リンク予測で最大63.1%のROC AUC向上、ノード分類で最大47.5%のF1スコア向上を、特定のデータセットで達成した。
• ハイパーボリックアテンションベースの集約と層ごとの訓練可能曲率は、固定曲率やアテンションなしのバリアントより性能向上に寄与する。
• 安定した指数写像を用いたハイパーボリック・ボリの学習は、実験でポアインカレ表現より最適化が良好である。
• HGCNはPubMedで最先端の結果を達成し、Disease、Airport、PPI ネットワークを含む多様なデータセットで強力な帰納能力を示す。
• 分析はHGCNの埋め込みが階層構造を反映し、曲率適応が埋め込みスケールと歪みの制御に寄与することを示す。