[論文レビュー] SDGNN: Learning Node Representation for Signed Directed Networks

Junjie Huang, Huawei Shen+2 more|arXiv (Cornell University)|Jan 7, 2021

Advanced Graph Neural Networks参考文献 36被引用数 7

ひとこと要約

本稿では、社会的理論—バランス理論およびステータス理論—をメッセージスワッピングフレームワークに統合することで、符号付き有向ネットワークにおけるノード表現を学習する新しいGNNモデルSDGNNを提案する。本モデルは、リンクの符号、方向、符号付き有向三角形を同時に再構築し、5つの実世界データセットにおいて最先端の手法を上回るリンク符号予測性能を達成する。

ABSTRACT

Network embedding is aimed at mapping nodes in a network into low-dimensional vector representations. Graph Neural Networks (GNNs) have received widespread attention and lead to state-of-the-art performance in learning node representations. However, most GNNs only work in unsigned networks, where only positive links exist. It is not trivial to transfer these models to signed directed networks, which are widely observed in the real world yet less studied. In this paper, we first review two fundamental sociological theories (i.e., status theory and balance theory) and conduct empirical studies on real-world datasets to analyze the social mechanism in signed directed networks. Guided by related sociological theories, we propose a novel Signed Directed Graph Neural Networks model named SDGNN to learn node embeddings for signed directed networks. The proposed model simultaneously reconstructs link signs, link directions, and signed directed triangles. We validate our model's effectiveness on five real-world datasets, which are commonly used as the benchmark for signed network embedding. Experiments demonstrate the proposed model outperforms existing models, including feature-based methods, network embedding methods, and several GNN methods.

研究の動機と目的

• 既存のGNNが主に符号なしネットワークを扱い、符号付き有向ネットワークを効果的にモデル化できないというギャップを解消すること。
• 社会的理論—バランス理論およびステータス理論—が符号付き有向ネットワークの構造に与える影響を調査すること。
• リンクの符号、方向、符号付き有向三角形を同時に再構築することで、ノード表現学習を向上させるGNNモデルを設計すること。
• 提案手法の有効性を実世界の符号付き有向ネットワークベンチマーク上で検証すること。

提案手法

• 本モデルは、バランス理論およびステータス理論から導かれる4つの異なる符号付き有向関係に基づいてメッセージをアグリゲートする、段階的な符号付き有向関係GNNを導入する。
• 動的重み付けにより隣接ノードの寄与度を最適化するマルチヘッドアテンションアグリゲータを採用し、表現学習を強化する。
• 損失関数は、符号再構築、方向再構築、符号付き有向三角形再構築の3つの目的を組み合わせており、その寄与度を調整可能なハイパーパrameterを備える。
• 学習済みノード埋め込みから元のネットワーク構造を再構築するため、グラフオートエンコーダフレームワークを採用する。
• 高次の構造的依存関係を捉えるために、マルチレイヤー構造を用いる。
• 学習プロセスでは、確率的勾配降下法を用いて統合損失を最適化し、埋め込み次元およびエポック数のハイパーパrameterチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 バランス理論およびステータス理論は、実世界の符号付き有向ネットワークにおける構造的パターンをどのように説明できるか？
• RQ2 社会的理論を明示的に組み込んだGNNモデルは、既存の手法に比べて符号付き有向ネットワークのノード表現学習において優れた性能を示せるか？
• RQ3 リンクの符号、方向、符号付き有向三角形の相対的寄与度は、ノード表現学習のパフォーマンスにどのように影響するか？
• RQ4 アーキテクチャの選択—例えばアグリゲータの種別やGNNレイヤー数—はモデル性能にどのように影響するか？

主な発見

• SDGNNは、特徴ベース、ネットワーク埋め込み、GNNベースのすべてのベースライン手法を、5つの実世界の符号付きネットワークデータセットにおけるリンク符号予測タスクで上回る。
• d=5のような小さな埋め込み次元でも優れた性能を発揮し、ロバストネスと効率性を示している。
• アブレーションスタディの結果、符号、方向、三角形を同時に再構築することが、符号のみの再構築よりも優れた結果をもたらすことが確認され、方向性および三角形構造のモデル化の重要性が示された。
• アテンションベースのアグリゲータは、平均アグリゲータを常に上回り、適応的隣接ノード重み付けが表現品質を向上させることを示している。
• モデルは速やかに収束し、安定した性能を維持しており、約100エポックで最適な性能が得られることが観察された。
• GNNレイヤー数を増やすことで、高次の構造的情報を捉えることができ、パフォーマンスが向上するため、段階的設計の有効性が裏付けられた。