[論文レビュー] R-GSN: The Relation-based Graph Similar Network for Heterogeneous Graph

Xinliang Wu, Mengying Jiang+1 more|arXiv (Cornell University)|Mar 14, 2021

Advanced Graph Neural Networks参考文献 18被引用数 6

ひとこと要約

本稿では、手動によるメタパス定義を不要にする、異種グラフ向けの関係ベースのグラフ類似度ネットワーク、R-GSNを提案する。類似度に基づくアグリゲーション機構（SIM-ATTN および SIM）に加え、正規化および適応的特徴初期化を導入することで、ogbn-mag データセットにおいて最先端の性能を達成し、検証時とテスト時の精度でそれぞれ R-GCN を 4.21% および 3.54% 上回った。

ABSTRACT

Heterogeneous graph is a kind of data structure widely existing in real life. Nowadays, the research of graph neural network on heterogeneous graph has become more and more popular. The existing heterogeneous graph neural network algorithms mainly have two ideas, one is based on meta-path and the other is not. The idea based on meta-path often requires a lot of manual preprocessing, at the same time it is difficult to extend to large scale graphs. In this paper, we proposed the general heterogeneous message passing paradigm and designed R-GSN that does not need meta-path, which is much improved compared to the baseline R-GCN. Experiments have shown that our R-GSN algorithm achieves the state-of-the-art performance on the ogbn-mag large scale heterogeneous graph dataset.

研究の動機と目的

• 既存の異種グラフニューラルネットワークが手動によるメタパス設計に大きく依存するという限界に対処すること。これは人的作業が強く、スケーラビリティに欠ける。
• 異種グラフにおけるメッセージパッシングを統一的かつ形式的に定式化する一般化された異種メッセージパッシングパラダイムの開発。
• メタパスを必要とせず、ogbn-mag のような大規模データセットに適用可能なエンドツーエンドでスケーラブルな GNN モデル R-GSN の設計。
• 類似度に基づく新しいアグリゲーション機構および正規化技術の導入により、ノード分類タスクの性能向上。
• ogbn-arxiv、IMDB、DBLP を含む複数のベンチマークで、広範なアブレーションおよび比較研究を通じて提案手法の有効性の実証。

提案手法

• 4段階からなる一般化された異種メッセージパッシングパラダイム（メッセージ変換、関係内アグリゲーション、関係間アグリゲーション、ステータス更新）の提案。
• 関係間での類似度に基づくメッセージアグリゲーションを計算する2つの新規アグリゲーション機構（SIM-ATTN（注目あり）および SIM（注目なし））の設計。
• 複数の段階に正規化処理を統合し、学習の安定化と性能向上を図り、アブレーションスタディで検証。
• FLAG の敵対的学習法を適用し、特に ogbn-mag において特徴が欠落しているノードのための事前プロパゲーションを用いて初期特徴を生成。
• 大規模グラフにおける学習時のメモリ制約に対処するため、近傍サンプリングに基づく簡素化された部分グラフサンプリング戦略を実装。
• R-GSN を均質化版（GSN）およびメタパス対応版（M-GSN）に拡張し、より広範な評価とアブレーションのための基盤を整備。

実験結果

リサーチクエスチョン

• RQ1 既存の異種GNNを統一的かつ一般化する、一般化された異種メッセージパッシングパラダイムを定式化できるか？
• RQ2 ogbn-mag のような大規模な異種グラフにおいて、メタパスに依存しないGNNアーキテクチャ（例：R-GSN）は、メタパス依存モデルに比べてより優れた性能とスケーラビリティを達成できるか？
• RQ3 提案された SIM-ATTN および SIM アグリゲーション機構は、従来のメッセージパッシングおよび注目ベースのアグリゲーションと比較して、どれほど有効であるか？
• RQ4 正規化、敵対的学習（FLAG）、および事前プロパゲーションによる特徴初期化が、モデルの性能と安定性に与える影響は何か？
• RQ5 提案手法は、ogbn-arxiv、IMDB、DBLP といった多様な異種グラフベンチマークに一般化可能か？

主な発見

• R-GSN は ogbn-mag データセットにおいて、検証精度 51.82%、テスト精度 50.32% を達成し、ベースラインの R-GCN よりもそれぞれ 4.21% および 3.54% 高かった。
• SIM-ATTN および SIM アグリゲーション機構は、標準的な R-GCN や他のベースラインと比較して性能を顕著に向上させた。M-GSN は IMDB および DBLP における全学習/テストスプリットで上位3位の結果を達成した。
• 正規化処理は性能に不可欠であることが確認された。アブレーションスタディにより、正規化を実装しないモデルは顕著に性能が劣ることが判明した。
• FLAG 敵対的学習法および事前プロパゲーションによる特徴初期化は、特に ogbn-mag においてモデルの汎化性能と性能をさらに向上させた。
• R-GSN の均質化版（GSN）およびメタパス対応版（M-GSN）は、異なるグラフタイプおよびベンチマークにおいても、提案されたアグリゲーション機構の有効性と汎用性を裏付けた。