[論文レビュー] mGNN: Generalizing the Graph Neural Networks to the Multilayer Case

Marco Grassia, Manlio De Domenico+1 more|arXiv (Cornell University)|Sep 21, 2021

Advanced Graph Neural Networks参考文献 57被引用数 9

ひとこと要約

この論文では、mGNN を導入し、グラフニューラルネットワーク（GNN）を、層内および層間接続における独立的かつスケーラブルなノード特徴量伝搬を可能にする一般化フレームワークとして、多層ネットワークに拡張する。計算オーバーヘッドなしに任意のGNNアーキテクチャをサポートし、実世界の多層データセットにおいてノード分類、リンク予測、ネットワーク分類の各タスクで優れた性能を達成しており、リンク予測で83.3％のF1スコア、スーパーディフュージョン予測で89.2％のテスト精度を達成している。

ABSTRACT

Networks are a powerful tool to model complex systems, and the definition of many Graph Neural Networks (GNN), Deep Learning algorithms that can handle networks, has opened a new way to approach many real-world problems that would be hardly or even untractable. In this paper, we propose mGNN, a framework meant to generalize GNNs to the case of multi-layer networks, i.e., networks that can model multiple kinds of interactions and relations between nodes. Our approach is general (i.e., not task specific) and has the advantage of extending any type of GNN without any computational overhead. We test the framework into three different tasks (node and network classification, link prediction) to validate it.

研究の動機と目的

• 複雑なシステムにおける複数の相互作用タイプをモデル化するためにますます利用されている多層ネットワークに対する幾何的深層学習ツールの不足に対処すること。
• 元のモデルを変更せず、計算オーバーヘッドを負担せずに、任意の既存のGNNアーキテクチャを多層ネットワークに拡張できる汎用フレームワークを開発すること。
• 実世界の多層ネットワークにおいて、ノード分類、リンク予測、ネットワーク分類といった多様なタスクに対してフレームワークを検証すること。
• 大規模な多層ネットワーク、特にノード数や層数が異なるネットワークに対しても、一般化性とスケーラビリティを示すこと。

提案手法

• フレームワークは、層内および層間接続を統合した supra-adjacency 行列を構築し、すべての層にわたる統一的なメッセージパッシングを可能にする。
• 層内および層間伝搬に同一のGNNレイヤー（例：GAT）を用い、同じノードの異なる層間のレプリカ間でパラメータを共有する。
• 隣接ノード（層内および層間）からの特徴量を集約するメッセージパッシングによりノード表現を更新し、構造的および特徴的情報を保持する。
• 層間接続は、異なる層に存在する同じノードのレプリカ同士のリンクとしてモデル化され、層間での情報交換を可能にする。
• グローバルプーリング層（例：グローバルソフトアテンション）により、層全体のノード埋め込みを統合し、分類タスク用のネットワークレベル表現を生成する。
• フレームワークは任意のGNNアーキテクチャと互換性があり、バックプロパゲーションや標準のハイパーパrameterを用いた最適化を含む標準的な学習手順をサポートする。

実験結果

リサーチクエスチョン

• RQ1 計算オーバーヘッドやアーキテクチャの変更なしに、既存のGNNを多層ネットワークに汎用的に拡張できるフレームワークは存在するか？
• RQ2 ノード分類、リンク予測、ネットワーク分類といった多層ネットワークタスクにおいて、このフレームワークの性能はどの程度か？
• RQ3 以前のモデルが再トレーニングを必要としているのに対し、ノード数や層数が異なるネットワークに対しても、このフレームワークは一般化可能か？
• RQ4 層間接続を含めることで、層内のみのモデルと比較して性能が顕著に向上するか？

主な発見

• リンク予測タスクにおいて、YouTube層ではF1スコア0.833、AUC 0.829を達成し、欠落したリンクの予測において優れた性能を示した。
• FriendFeed層ではF1スコア0.819、AUC 0.811を達成し、異なる種類の多層ネットワークにおいて一貫した性能を確認した。
• スーパーディフュージョン予測タスクでは、89.2％のテスト精度とAUC 0.911を達成し、supra-adjacency 行列に基づく従来のCNNベースのモデルを上回った。
• ノード数や層数が異なるネットワークに対しても、以前の手法よりもはるかに少ない訓練例で効果的に一般化できた。
• マラリア関連の遺伝的多層ネットワークにおいても、GATベースのアーキテクチャを用いて強力なノード分類結果を達成した。
• アブレーションスタディにより、層内および層間のメッセージパッシングの両方が性能向上に寄与しており、特に層間接続が一般化性能を向上させていることが確認された。