[論文レビュー] Tree Structure-Aware Graph Representation Learning via Integrated Hierarchical Aggregation and Relational Metric Learning

Ziyue Qiao, Pengyang Wang+4 more|arXiv (Cornell University)|Aug 23, 2020

Advanced Graph Neural Networks参考文献 42被引用数 4

ひとこと要約

本稿では、多層の木構造とノードタイプの異質性を統合的に保持する新しいグラフニューラルネットワーク、T-GNNを提案する。T-GNNは、多ホップ近傍集約にゲート付き再帰ユニット（GRUs）を統合し、関係的メトリック学習を用いて異なるノードタイプを別々の特徴空間に埋め込むことで、異質グラフにおける階層的木構造とノードタイプの異質性を同時に保持する。この手法は、ノード分類、クラスタリング、リンク予測のタスクで最先端の性能を達成する。

ABSTRACT

While Graph Neural Network (GNN) has shown superiority in learning node representations of homogeneous graphs, leveraging GNN on heterogeneous graphs remains a challenging problem. The dominating reason is that GNN learns node representations by aggregating neighbors' information regardless of node types. Some work is proposed to alleviate such issue by exploiting relations or meta-path to sample neighbors with distinct categories, then use attention mechanism to learn different importance for different categories. However, one limitation is that the learned representations for different types of nodes should own different feature spaces, while all the above work still project node representations into one feature space. Moreover, after exploring massive heterogeneous graphs, we identify a fact that multiple nodes with the same type always connect to a node with another type, which reveals the many-to-one schema, a.k.a. the hierarchical tree structure. But all the above work cannot preserve such tree structure, since the exact multi-hop path correlation from neighbors to the target node would be erased through aggregation. Therefore, to overcome the limitations of the literature, we propose T-GNN, a tree structure-aware graph neural network model for graph representation learning. Specifically, the proposed T-GNN consists of two modules: (1) the integrated hierarchical aggregation module and (2) the relational metric learning module. The integrated hierarchical aggregation module aims to preserve the tree structure by combining GNN with Gated Recurrent Unit to integrate the hierarchical and sequential neighborhood information on the tree structure to node representations. The relational metric learning module aims to preserve the heterogeneity by embedding each type of nodes into a type-specific space with distinct distribution based on similarity metrics.

研究の動機と目的

• 異質グラフに共通する多ホップ階層的木構造を効果的に保持できない既存のGNNの限界を解消すること。
• 異なるノードタイプ間で共通の特徴空間が使用されることにより、効果的な表現学習が妨げられる問題を克服すること。
• 多くのノードが1つのノードにリンクするスキーマ（例：複数の論文が1人の著者にリンク）を、より豊かな構造的インダクティブバイアスを持つ木構造的近傍としてモデル化すること。
• 異質グラフにおける分類、クラスタリング、リンク予測などの下流タスクのためのノード表現品質を向上させること。

提案手法

• 多ホップパスにわたり順序的で階層的な近傍情報の保持を図るため、ゲート付き再帰ユニット（GRUs）とグラフ畳み込み集約を統合する。
• 木構造的近傍における隣接ノードの順序と深さを捉える統合的階層的集約モジュールを設計する。
• 各ノードタイプをタイプ固有の特徴空間に埋め込む関係的メトリック学習モジュールを提案する。この特徴空間は、異なる分布と類似度メトリクスを持つ。
• 関係固有のメトリクス空間を用いてノード類似度を計算することで、表現学習中に異なるノードタイプ間の干渉を低減する。
• 階層的集約とメトリック学習を統合的に最適化できるエンドツーエンドで学習可能なフレームワークを構築し、構造的および異質性に配慮した表現を同時に最適化する。
• 各ターゲットノードのための木構造的多ホップ近傍を定義するために、メタパスにインspiredした近傍サンプリングを採用する。

実験結果

リサーチクエスチョン

• RQ1 異質グラフの多ホップ近傍に内在する階層的木構造を、GNNモデルが効果的に保持できるか？
• RQ2 共通の特徴空間ではなく、タイプ固有の特徴空間に異なるノードタイプを埋め込むことで、表現品質が向上するか？
• RQ3 階層的集約と関係的メトリック学習の共同最適化が、ノードレベルのグラフ学習タスクでより良い性能をもたらすか？
• RQ4 T-GNNは、異質グラフにおける長距離依存関係と構造的異質性を処理する点で、既存のGNNと比較して優れているか？

主な発見

• T-GNNは、GAT、HAN、RGCNなどの既存手法を上回り、複数の異質グラフベンチマークにおいてノード分類およびクラスタリングタスクで最先端の性能を達成する。
• リンク予測の性能が顕著に向上し、異質グラフにおける複雑な構造的パターンを効果的に捉えられることを示している。
• アブレーションスタディの結果、階層的集約モジュールと関係的メトリック学習モジュールの両方が、独立的かつ相乗的に性能向上に寄与していることが確認された。
• 可視化結果から、同じタイプのノードが高内挿類似度と高い外挿分離度を示す、明確に分離された別々の空間に埋め込まれていることがわかった。
• 学習済み表現が近傍の階層的構造（例：論文－著者－機関の木構造）を効果的に保持していることが、多ホップパス相関を保っていることから裏付けられている。