[論文レビュー] Hyperbolic Graph Attention Network

Yiding Zhang, Xiao Wang+3 more|arXiv (Cornell University)|Dec 6, 2019

Advanced Graph Neural Networks参考文献 29被引用数 15

ひとこと要約

本稿では、非ユークリッド幾何を扱うためにギャロベクトル空間を用いた、超空間における最初のGNNフレームワークであるハイパーボリック・グラフアテンションネットワーク（HAT）を提案する。非ユークリッド幾何を扱うために、ハイパーボリック近接度に基づくアテンション機構と、対数および指数写像を用いた高速化戦略を導入し、階層的構造を有する4つの実世界データセットにおいて、ノード分類およびクラスタリングタスクで最先端の性能を達成した。

ABSTRACT

Graph neural network (GNN) has shown superior performance in dealing with graphs, which has attracted considerable research attention recently. However, most of the existing GNN models are primarily designed for graphs in Euclidean spaces. Recent research has proven that the graph data exhibits non-Euclidean latent anatomy. Unfortunately, there was rarely study of GNN in non-Euclidean settings so far. To bridge this gap, in this paper, we study the GNN with attention mechanism in hyperbolic spaces at the first attempt. The research of hyperbolic GNN has some unique challenges: since the hyperbolic spaces are not vector spaces, the vector operations (e.g., vector addition, subtraction, and scalar multiplication) cannot be carried. To tackle this problem, we employ the gyrovector spaces, which provide an elegant algebraic formalism for hyperbolic geometry, to transform the features in a graph; and then we propose the hyperbolic proximity based attention mechanism to aggregate the features. Moreover, as mathematical operations in hyperbolic spaces could be more complicated than those in Euclidean spaces, we further devise a novel acceleration strategy using logarithmic and exponential mappings to improve the efficiency of our proposed model. The comprehensive experimental results on four real-world datasets demonstrate the performance of our proposed hyperbolic graph attention network model, by comparisons with other state-of-the-art baseline methods.

研究の動機と目的

• 実世界のグラフが階層的およびパワー則的構造を示すという実証的証拠があるにもかかわらず、非ユークリッド的でハイパーボリックな空間を対象としたグラフニューラルネットワークの不足に応えること。
• 標準的なベクトル演算（例：加算、減算）が非可換なハイパーボリック空間で行えないという課題に直面するが、それらを克服すること。
• 非ユークリッド幾何における有効な特徴集約を可能にするために、ハイパーボリック近接度を活用するアテンション機構を設計すること。
• 対数および指数写像に基づく高速化戦略を導入することで、ハイパーボリック空間における計算効率を向上させること。
• ツリー型またはスケールフリーなトポロジーを有する実世界のデータセットにおいて、ハイパーボリックGNNの優位性を検証すること。

提案手法

• ハイパーボリック幾何におけるベクトル演算の一般化を可能にする代数的形式的枠組みとして、ギャロベクトル空間を採用し、特徴変換および集約を可能にする。
• ハイパーボリック空間における測地線距離に基づいてアテンションスコアを計算する、ハイパーボリック近接度に基づくアテンション機構を設計する。
• ハイパーボリック演算を接空間における演算に変換することで、対数および指数写像を用いて計算を高速化する。
• ハイパーボリックなアテンション層をGNNアーキテクチャに統合し、下位のハイパーボリック多様体の曲率を保持する。
• クラスタリングや可視化のための後続タスクのために、学習済み表現をユークリッド空間に射影するために対数写像を用いる。
• ノード分類のための交差エントロピー損失とクラスタリング評価のためのK-meansを用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーボリック空間において、階層的グラフ構造をより効果的に捉えるために、グラフニューラルネットワークを効果的に設計・訓練できるか？
• RQ2 標準的なベクトル代数が失敗する非ユークリッド的ハイパーボリック空間において、アテンション集約などのベクトル演算をどのように再定義できるか？
• RQ3 ギャロベクトル空間を用いることで、ハイパーボリック幾何におけるGNNの表現力および安定性にどのような影響を与えるか？
• RQ4 対数および指数写像に基づく高速化戦略は、幾何的忠実性を損なわずに、ハイパーボリックGNNの訓練効率を顕著に向上させられるか？
• RQ5 グラフデータをハイパーボリック空間にモデル化することで、ユークリッドベースラインと比較してノード分類およびクラスタリングタスクの性能が向上するか？

主な発見

• HATは、Cora、Citeseer、PubMed、Amazon Photoの4つの実世界データセットにおいて、ノード分類タスクで最先端の性能を達成した。
• Amazon Photoデータセットにおいて、16ヘッドでテスト精度0.719を達成し、同じ設定でGCN（0.626）、GAT（0.659）、PoincaréEmb（0.659）を上回った。
• ノードクラスタリングにおいて、HATはすべてのデータセットで最高の正規化相互情報量（NMI）を達成し、CoraではピークNMIが0.439、PubMedでは0.393を記録した。
• PubMedにおける可視化では、HATがGCNやGATよりも明確なクラス境界を生成しており、優れた表現分離性を示している。
• アテンション解析の結果、HATは同じクラスの近隣ノードに高いアテンションを割り当てており、関連のあるノードと関係の薄いノードを区別できる能力を確認した。
• 対数および指数写像に基づく高速化戦略により、幾何的正確性を維持したまま計算複雑度を低減できた。