[論文レビュー] The multilayer random dot product graph

A. Jones, Patrick Rubin‐Delanchy|arXiv (Cornell University)|Jul 20, 2020

Complex Network Analysis Techniques参考文献 40被引用数 14

ひとこと要約

本稿では、共通のノード集合を共有する複数の無向および有向グラフを統合的に埋め込むための統一的モデルである多層ランダムドット積産グラフ（ML-RDPG）を紹介する。スペクトル埋め込みがガウス誤差を伴って真の潜在位置に理論的に収束することを確立し、サイバー・セキュリティ応用において、単一グラフおよび既存のマルチグラフ手法と比較して、リンク予測およびコミュニティ検出の両面で優れた性能を示す。

ABSTRACT

We present a comprehensive extension of the latent position network model known as the random dot product graph to accommodate multiple graphs -- both undirected and directed -- which share a common subset of nodes, and propose a method for jointly embedding the associated adjacency matrices, or submatrices thereof, into a suitable latent space. Theoretical results concerning the asymptotic behaviour of the node representations thus obtained are established, showing that after the application of a linear transformation these converge uniformly in the Euclidean norm to the latent positions with Gaussian error. Within this framework, we present a generalisation of the stochastic block model to a number of different multiple graph settings, and demonstrate the effectiveness of our joint embedding method through several statistical inference tasks in which we achieve comparable or better results than rival spectral methods. Empirical improvements in link prediction over single graph embeddings are exhibited in a cyber-security example.

研究の動機と目的

• 共通のノード集合を共有する複数の無向および有向グラフを扱えるように、ランダムドット積産グラフモデルを拡張すること。
• 複数のグラフにわたる潜在位置を一貫して推定する統合スペクトル埋め込み手法を開発すること。
• スパarsity下でのノード表現の漸近的挙動に関する理論的保証を確立すること。
• 多層設定における多様な接続パターンを有するコミュニティ構造を扱えるように、ストークスティックブロックモデルを一般化すること。
• 特にリンク予測において、単一グラフおよび競合するマルチグラフ手法と比較して、統計的推論性能を向上させること。

提案手法

• 各グラフの隣接行列が潜在位置ベクトルと変換行列を含むカーネル関数によって生成される、多層ランダムドット積産グラフ（ML-RDPG）モデルを提案する。
• 左および右側のスペクトル埋め込みを適用し、隣接行列の最大固有値を用いて、複数のグラフにわたる潜在位置を統合的に推定する。
• 理論的収束性を確立：埋め込みによるノード表現は、ユークリッドノルムにおいて真の潜在位置に一様に収束し、漸近的にガウス誤差を伴う。
• 異なるアソートラティビティおよびディアソートラティビティを有する複数のグラフにおける多様なコミュニティ構造をモデル化するため、一般化多層ストークスティックブロックモデル（GMSBM）を導入する。
• モデルの識別可能性を測る指標としてチェルノフ情報を利用するが、大規模解析を簡略化するため、切り捨てられたバージョン（$\rho_{\mathbf{A}}$）を用いる。
• シミュレーションおよび実世界のサイバー・セキュリティデータを用いて、異なるグラフの組み合わせおよび埋め込み戦略におけるリンク予測性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 共通のノード集合を共有する複数の無向および有向グラフを統合的に埋め込むための統一的潜在空間モデルを開発できるか？
• RQ2 複数のグラフのスペクトル埋め込みは、真の潜在位置に一様に収束するか？ その漸近的誤差の性質は何か？
• RQ3 複数のグラフを統合することで、単一グラフ埋め込みと比較して、リンク予測やコミュニティ検出といった統計的推論タスクの性能がどのように向上するか？
• RQ4 グラフ間でコミュニティ構造やノード確率ベクトルが異なる場合、モデルの識別可能性および性能にどのような影響を与えるか？
• RQ5 提案手法は、平均埋め込みやオムニバス埋め込みといった既存のマルチグラフ埋め込み手法を、実世界の推論タスクで上回ることができるか？

主な発見

• ML-RDPGのスペクトル埋め込みは、ユークリッドノルムにおいて真の潜在位置に一様に収束し、漸近的にガウス誤差を伴う。これは、二部グラフに対して初めての結果である。
• コンピュータネットワークにおけるリンク予測タスクにおいて、統合埋め込み手法は単一グラフ埋め込みよりも実証的に性能向上を達成した。特に、動的およびポート固有のネットワークデータを組み合わせた場合に顕著であった。
• 大規模なGMSBMsにおいて、切り捨てられたチェルノフ情報（$\rho_{\mathbf{A}}$）は、モデルの識別可能性に対する信頼できる代理指標を提供する。追加のグラフを加えた際、少なくとも73％の試行で$\rho_{\mathbf{A}}/\rho_{\mathbf{A}_{\mathcal{K}}}>1$が成立した。
• コミュニティ検出およびグラフ比較タスクにおいて、本手法は既存のスペクトル手法を常に上回るか、同等の性能を示した。エッジ確率行列の固有値が異なる場合であっても、劣化の兆候は観察されなかった。
• 追加のグラフを埋め込むことで、平均的に性能が向上し、特に潜在位置が多数のコミュニティから抽出される場合にその向上幅が大きくなった。ノード確率ベクトルが共有されているか、異なるかに関わらず、その利点は一貫して観察された。
• すべてのシミュレーション試行において、少なくとも1つの埋め込みサブセットが、完全なモデルよりも高い$\rho_{\mathbf{A}}/\rho_{\mathbf{A}_{\mathcal{K}}}$比を達成しており、これはUASEが最悪の個別埋め込みよりも常に劣らないことを示唆している。