[論文レビュー] Hop-Hop Relation-aware Graph Neural Networks

Li Zhang, Yan Ge+1 more|arXiv (Cornell University)|Dec 21, 2020

Advanced Graph Neural Networks参考文献 45被引用数 4

ひとこと要約

本稿では、関係スコアを用いて学習された個別化されたホップに依存する受容場を実現する、同型および異型グラフ表現学習の統一枠組みであるHop-Hop関係認識グラフニューラルネットワーク（HHR-GNN）を提案する。ホップに依存する投影および集約を、学習された関係スコアを用いて実行することで、従来手法と比較して大規模な異型グラフにおいて最大13,000倍の高速化を達成しながら、最先端の精度を実現した。

ABSTRACT

Graph Neural Networks (GNNs) are widely used in graph representation learning. However, most GNN methods are designed for either homogeneous or heterogeneous graphs. In this paper, we propose a new model, Hop-Hop Relation-aware Graph Neural Network (HHR-GNN), to unify representation learning for these two types of graphs. HHR-GNN learns a personalized receptive field for each node by leveraging knowledge graph embedding to learn relation scores between the central node's representations at different hops. In neighborhood aggregation, our model simultaneously allows for hop-aware projection and aggregation. This mechanism enables the central node to learn a hop-wise neighborhood mixing that can be applied to both homogeneous and heterogeneous graphs. Experimental results on five benchmarks show the competitive performance of our model compared to state-of-the-art GNNs, e.g., up to 13K faster in terms of time cost per training epoch on large heterogeneous graphs.

研究の動機と目的

• 既存のGNNが固定された受容場を採用しているため、同型および異型グラフの両方でノードの接続パターンの変化に適応できないという限界を解消すること。
• 特に異型グラフにおいて、異なるホップやノードタイプが中心ノードに対して異なる関連性を持つにもかかわらず、すべての隣接ノードを同等に扱う問題を克服すること。
• 知識グラフ埋め込み技術を用いて動的で個別化された受容場を学習することで、効率的かつ解釈可能な表現学習を可能にすること。
• ホップに依存する投影および集約をサポートする単一のフレームワークとして、同型および異型グラフの両方の表現学習を統一すること。
• 軽量なニューラルテンソルネットワークを活用して関係スコアを計算することで、モデルの効率性と解釈可能性を向上させること。

提案手法

• 中心ノードとその多ホップ近傍ノードの間の関係スコアを計算するために、グラフニューラルネットワークと知識グラフ埋め込み（KGE）を統合した新しいGNNアーキテクチャを導入する。
• 中心ノードと異なるホップにおけるノード表現との間の関係スコア（例：α₀₁、α₀₂）を計算するためにニューラルテンソルネットワーク（NTN）を用い、柔軟で個別化された集約を可能にする。
• 各ホップの近傍埋め込みに固有の重み行列を用いることで、ホップに依存する投影を実装し、ホップ距離に応じた異なる特徴空間へのマッピングを可能にする。
• 学習された関係スコアを用いて多ホップ近傍ノード表現を重み付きで集約し、その後で中心ノードの埋め込みと連結することで、最終的な表現を形成する。
• 異なるノードタイプとホップ距離を異なる関係タイプとして扱うことで、同じアーキテクチャが同型および異型グラフの両方を処理できる統一フレームワークを設計する。
• 特にノードタイプが少ない大規模グラフにおいても計算効率を確保するため、低次元のGNN埋め込みをNTNモジュールの入力として活用する。

実験結果

リサーチクエスチョン

• RQ1 ノードごとに個別化された受容場を学習することで、同型および異型グラフの両方を効果的に処理できる統一GNNフレームワークは、実現可能か？
• RQ2 中心ノードに対して異なるホップの近傍ノードが異なる関連性を持つ場合、ホップに依存する投影および集約は表現学習をどのように改善するか？
• RQ3 知識グラフ埋め込みから得られる学習済みの関係スコアは、ノード分類におけるモデルの解釈可能性とパフォーマンスをどの程度向上させるか？
• RQ4 特に複雑な近傍構造を有する大規模な異型グラフにおいて、提案手法は従来のGNNよりも優れた効率性を達成するか？
• RQ5 モデルは動的にどのホップやノードタイプがノード表現に最も寄与しているかを特定でき、解釈可能な予測を可能にするか？

主な発見

• HHR-GNNはノード分類において競争力のあるパフォーマンスを達成し、IMDBデータセットではGTNやHANといった最先端モデルを最大9.3%上回った。
• 大規模な異型グラフにおいて、HHR-GNNは1エポックあたりの学習時間を従来手法と比較して最大13,000倍短縮し、優れた効率性を示した。
• 関係スコアを用いて個別化された受容場を学習しており、1ホップ近傍ノードが2ホップ近傍ノードよりも常に高いスコアを獲得しており、その関連性の強さが裏付けられた。
• 解釈可能性が向上：学習済みの関係スコアの可視化により、ノードが特定の近傍タイプ（例：IMDBにおける「映画」と「監督」）を好む傾向が明確に現れ、現実の関係を反映していた。
• 軽量なNTNベースの関係スコア学習を活用することで、ノードタイプが少ないグラフにおいても効率的な計算が可能であり、高い精度を維持した。
• HHR-GNNは異型グラフにおいてGCNを上回る精度を達成し、単純な近傍集約では複雑なグラフ構造に対して不十分であることが示された。