[論文レビュー] DeepGraph: Graph Structure Predicts Network Growth

Cheng Li, Xiaoxiao Guo+1 more|arXiv (Cornell University)|Oct 20, 2016

Complex Network Analysis Techniques参考文献 39被引用数 15

ひとこと要約

DeepGraphは、熱核符号（HKS）とマルチカラム・マルチリゾリューション畳み込みニューラルネットワークを用いて、生の隣接行列からグラフ表現を学習することで、ネットワーク成長を予測するエンド・ツー・エンドのディープラーニングモデルを提案する。この手法は、手作業で設計された特徴量、グラフカーネル、および先行するディープラーニング手法を大きく上回り、5つの実世界ネットワークデータセットで、学習された構造的表現がネットワークダイナミクスを予測するための局所的およびグローバルなトポロジカルパターンを捉えていることを示している。

ABSTRACT

The topological (or graph) structures of real-world networks are known to be predictive of multiple dynamic properties of the networks. Conventionally, a graph structure is represented using an adjacency matrix or a set of hand-crafted structural features. These representations either fail to highlight local and global properties of the graph or suffer from a severe loss of structural information. There lacks an effective graph representation, which hinges the realization of the predictive power of network structures. In this study, we propose to learn the represention of a graph, or the topological structure of a network, through a deep learning model. This end-to-end prediction model, named DeepGraph, takes the input of the raw adjacency matrix of a real-world network and outputs a prediction of the growth of the network. The adjacency matrix is first represented using a graph descriptor based on the heat kernel signature, which is then passed through a multi-column, multi-resolution convolutional neural network. Extensive experiments on five large collections of real-world networks demonstrate that the proposed prediction model significantly improves the effectiveness of existing methods, including linear or nonlinear regressors that use hand-crafted features, graph kernels, and competing deep learning methods.

研究の動機と目的

• ネットワーク成長を予測するための構造的特徴量の限界、すなわち局所的およびグローバルなネットワークトポロジーを同時に捉えることが難しいことに対処すること。
• 生の隣接行列から直接意味のあるグラフ表現を学習するエンド・ツー・エンドのディープラーニングモデルを構築すること。
• ネットワーク構造のディープラーニング表現が、サイズ、影響力、評判（プレステージ）の成長といった動的特性を効果的に予測できるかどうかを調査すること。
• 特徴量ベースの回帰器、グラフカーネル、および競合するディープラーニングモデルを含む最先端手法と比較して、モデルの性能を評価すること。
• 学習された高レベル特徴量が、構造的穴や三重項閉鎖性といった既知の社会的ネットワーク理論と整合しているかどうかを検証すること。

提案手法

• モデルはネットワークの生の隣接行列を入力とし、各ノードの熱核符号（HKS）を計算することで、局所的およびグローバルなトポロジカル情報を符号化する。
• HKS値は時間経過とともにヒストグラムに集約され、構造的複雑性を保持する普遍的で低レベルのグラフ記述子が形成される。
• マルチカラム・マルチリゾリューション畳み込みニューラルネットワークが、HKSに基づく記述子を処理し、階層的で高レベルのグラフ構造表現を学習する。
• 最終的な予測ヘッドは、回帰設定において期待されるネットワーク成長（例：サイズ、影響力、hインデックス）を表す連続値を出力する。
• モデル全体は、実世界のネットワークデータにおける予測誤差を最小化するために、平均二乗誤差（MSE）損失を用いてエンド・ツー・エンドで訓練される。
• 本手法は、ソーシャルネットワーク、被引用ネットワーク、情報拡散グラフを含む5つの大規模な実世界ネットワークデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 熱核符号に基づく学習されたグラフ表現は、手作業で設計された構造的特徴量を上回り、ネットワーク成長を予測する能力において優れていると言えるか？
• RQ2 人為的に設計された特徴量なしに、ディープニューラルネットワークが、三重項、コミュニティ、構造的穴といった意味のある構造的パターンをどの程度自動で発見できるか？
• RQ3 提案手法の性能は、線形／非線形回帰器、グラフカーネル、および他のディープラーニングベースラインと比較してどうなるか？
• RQ4 モデルが学習した表現は、構造的穴が成長を促進する役割を果たすといった、確立された社会的ネットワーク理論と相関しているか？
• RQ5 特に大規模グラフにおいて、モデルの性能はネットワークのサイズや密度に依存してどのように変化するか？

主な発見

• DeepGraphは、5つの大規模な実世界ネットワークデータセットにおいて、手作業で設計された特徴量ベースの回帰器、グラフカーネル、および競合するディープラーニングモデルを含むすべてのベースライン手法を大きく上回る性能を発揮した。
• 特に構造的複雑性が高く、局所的部分構造特徴量では捉えにくい大規模グラフにおいて、最も強いベースライン（特徴量ベース手法）よりも低い平均二乗誤差（MSE）を達成した。
• 学習された特徴量の可視化により、DeepGraphが自動的にオープン・トライアングルやクローズド・トライアングル、エッジ密度、コミュニティ構造といった重要な構造的パターンを学習していることが明らかになった。これらのパターンは、既知の社会的ネットワーク理論と整合している。
• Weibo拡散ネットワークにおいて、DeepGraphが学習した高レベル特徴量は、ネットワークサイズや影響範囲の実際の成長と強く相関しており、特にこれらの指標において優れた予測性能を示した。一方、hインデックスのような間接的指標では相関が弱かった。
• DeepGraphがベースラインを上回るグラフは、サイズが大きい傾向にあり、HKSに基づく表現が、複雑で大規模なトポロジーに対してより効果的であることが示唆された。
• 誤差解析の結果、両手法とも密度の高いネットワークでは良好に動作したが、DeepGraphは大規模グラフにおいて、手作業で設計された特徴量がグローバル構造を捉えにくくなる問題を克服し、より優れた性能を発揮した。