[論文レビュー] Signed Graph Diffusion Network

Jinhong Jung, Jaemin Yoo+1 more|arXiv (Cornell University)|Dec 28, 2020

Advanced Graph Neural Networks参考文献 36被引用数 11

ひとこと要約

本稿では、符号付きソーシャルグラフにおけるリンクの符号予測のためのエンドツーエンドのノード表現学習を実現する新しいグラフニューラルネットワーク、Signed Graph Diffusion Network (SGDNet) を提案する。符号付きランダムウォーク拡散機構と局所的特徴注入を導入することで、過剰な平滑化を回避しながら多ホップ近隣情報の有効な捕捉を実現し、先行手法と比較して最大7.4%高いF1-macro正答率を達成する。

ABSTRACT

Given a signed social graph, how can we learn appropriate node representations to infer the signs of missing edges? Signed social graphs have received considerable attention to model trust relationships. Learning node representations is crucial to effectively analyze graph data, and various techniques such as network embedding and graph convolutional network (GCN) have been proposed for learning signed graphs. However, traditional network embedding methods are not end-to-end for a specific task such as link sign prediction, and GCN-based methods suffer from a performance degradation problem when their depth increases. In this paper, we propose Signed Graph Diffusion Network (SGDNet), a novel graph neural network that achieves end-to-end node representation learning for link sign prediction in signed social graphs. We propose a random walk technique specially designed for signed graphs so that SGDNet effectively diffuses hidden node features. Through extensive experiments, we demonstrate that SGDNet outperforms state-of-the-art models in terms of link sign prediction accuracy.

研究の動機と目的

• 従来のネットワーク埋め込み法およびGCNベースのモデルが符号付きグラフのノード表現学習において抱える制限を解消すること。
• 符号付きグラフに適用した際の深層GCNモデルにおける過剰な平滑化が引き起こす性能低下を克服すること。
• 特徴抽出と予測の両方を統合的に最適化することで、エンドツーエンド学習によるリンク符号予測を可能にすること。
• 局所的特徴を保持しつつ、符号付きエッジに沿って情報を効果的に伝搬する拡散機構を設計すること。

提案手法

• 正負のエッジ符号を考慮した符号付きランダムウォークを用いた、グラフ内のパスに沿ってノード特徴を伝搬する新しい符号付きランダムウォーク拡散法を提案する。
• アグリゲーション過程において各ノードの元の入力特徴を保持する局所的特徴注入機構を導入し、特徴の区別性を維持する。
• 反復的特徴伝搬を用いて階層的ノード表現を学習するため、複数のスタックされた符号付きグラフ拡散(SGD)層を採用する。
• ランダムウォークにおけるリスタート確率を用いてグローバル情報とローカル情報をバランスさせ、拡散プロセスを行列演算として形式化する。
• リンク符号予測に特化した損失関数を用いて、ノード埋め込みをエンドツーエンドで最適化する学習フレームワークを適用する。
• 理論的および実験的分析により、拡散ステップ数を増やしても（K=10）過剰な平滑化を回避できることを示している。

実験結果

リサーチクエスチョン

• RQ1 符号付きソーシャルグラフにおけるリンク符号予測のためのグラフニューラルネットワークが、従来の二段階アプローチを凌駆するエンドツーエンド学習を達成できるか？
• RQ2 局所的特徴を保持するとともに過剰な平滑化を回避しながら、符号付きグラフにおけるノード表現を効果的に学習できるか？
• RQ3 多ホップ近隣情報がリンク符号予測性能に与える影響は何か？ また、それを効率的に活用する方法は何か？
• RQ4 局所的およびグローバルな特徴伝搬のバランスが、符号付きグラフ学習におけるモデル性能に与える影響は何か？

主な発見

• SGDNetは、評価した全データセットで最高のAUCおよびF1-macroスコアを達成し、SOTAモデルと比較してAUCで最大6.4%、F1-macroで最大7.4%高い性能を示した。
• SGDNetの性能は、拡散ステップ数の増加に従って着実に向上し（K=10まで）、遠方の近隣情報の有効活用が図られていることを示している。
• 対照的に、SGCNの性能は3ステップを超えると著しく低下し、深層アーキテクチャにおける過剰な平滑化への感受性が顕著に現れている。
• 最適な局所的注入比（小規模データセットではc ≈ 0.15–0.35、大規模データセットではc ≈ 0.5）が性能向上に寄与し、極端な値（例：c=0.05 または c=0.95）では性能が低下することがわかった。
• SGDNetの拡散機構は、局所的特徴を効果的に保持しつつ、符号付きエッジに沿った意味のある情報伝搬を可能にし、より表現力が高く区別性のあるノード埋め込みを生成した。
• Bitcoin-Alpha、Bitcoin-OTC、Slashdot、Epinionsといった多様な実世界の符号付きグラフにおいて、一貫した性能向上を示し、モデルの頑健性を確認した。