[論文レビュー] Latent Network Summarization: Bridging Network Embedding and Summarization

Di Jin, Ryan A. Rossi+4 more|arXiv (Cornell University)|Nov 11, 2018

Advanced Graph Neural Networks参考文献 31被引用数 4

ひとこと要約

この論文では、関係演算子と関数合成を用いて、サイズに依存しない低ランクの構造的要約を学習する、潜在ネットワーク要約のための新しい帰納的フレームワークであるMulti-LENSを紹介する。この手法は、密度の高い埋め込み手法よりも3.5–34.3%高いAUCを達成しながら、ストレージを80–2152倍削減し、完全な密度の高い埋め込みを格納せずに、オンザフライでのノード埋め込み計算を可能にする。

ABSTRACT

Motivated by the computational and storage challenges that dense embeddings pose, we introduce the problem of latent network summarization that aims to learn a compact, latent representation of the graph structure with dimensionality that is independent of the input graph size (i.e., #nodes and #edges), while retaining the ability to derive node representations on the fly. We propose Multi-LENS, an inductive multi-level latent network summarization approach that leverages a set of relational operators and relational functions (compositions of operators) to capture the structure of egonets and higher-order subgraphs, respectively. The structure is stored in low-rank, size-independent structural feature matrices, which along with the relational functions comprise our latent network summary. Multi-LENS is general and naturally supports both homogeneous and heterogeneous graphs with or without directionality, weights, attributes or labels. Extensive experiments on real graphs show 3.5 - 34.3% improvement in AUC for link prediction, while requiring 80 - 2152x less output storage space than baseline embedding methods on large datasets. As application areas, we show the effectiveness of Multi-LENS in detecting anomalies and events in the Enron email communication graph and Twitter co-mention graph.

研究の動機と目的

• 大規模グラフにおける密度の高いネットワーク埋め込みの高い計算コストとストレージコストに対処すること。
• グラフサイズに依存しないグラフ要約を生成する、潜在ネットワーク要約の新しい問題を定式化すること。
• 異種的で、有向で、重み付きで、属性付きのグラフをサポートする一般化された帰納的フレームワークを開発すること。
• 完全な埋め込みを格納せずに、オンザフライでのノード埋め込み計算を可能にすること。
• 最小限のストレージオーバーヘッドで、リンク予測や異常検出などの下流タスクで顕著な改善を達成すること。

提案手法

• ノード近傍における関係演算子（例：平均、和）を用いた、多層構造的関数を合成する帰納的フレームワークであるMulti-LENSを提案する。
• 低ランク近似を用いて、関係的関数合成から、サイズに依存しないコンactな構造的特徴行列（S）をサイズK×Cで導出する。
• 潜在要約を関係的関数（F_r）と低ランク行列（S）の組み合わせとして表現し、ノード数およびエッジ数に依存しない形で表す。
• 異なるノード型およびエッジ型にわたる関係演算子の適用により、異種グラフをサポートする。メタパスベースの合成も含む。
• ノード固有のコンテキスト関数と潜在要約を合成することで、オンザフライでのノード埋め込み計算を可能にする。
• エッジ数に対して線形時間計算量であり、ノード単位の計算が並列化可能であるため、スケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 サイズに依存しないが構造的情報を保持する潜在ネットワーク要約フレームワークを設計できるか？
• RQ2 密度の高い埋め込みよりも、関係的関数合成が高次のネットワーク構造をより効率的に捉えられるか？
• RQ3 提案手法は、埋め込みベースラインと比較して、顕著に少ないストレージでリンク予測の性能を向上させられるか？
• RQ4 潜在要約は帰納的学習とオンザフライでのノード埋め込み生成をサポートできるか？
• RQ5 実世界の応用、たとえば大規模グラフにおける異常およびイベント検出において、この手法はどれほど有効か？

主な発見

• Multi-LENSは、実世界のグラフにおいて、最先端の埋め込み手法よりも3.5–34.3%高いAUCをリンク予測で達成する。
• 100万エッジ以上の大きなデータセットにおいて、ベースラインの埋め込み技術と比較して、出力ストレージ領域を80–2152倍削減する。
• フレームワークは帰納的学習をサポートし、完全な埋め込み表現を格納せずに、オンザフライでのノード埋め込み計算を可能にする。
• Multi-LENSは、EnronメールおよびTwitter共起グラフにおける異常およびイベント検出を効果的に実行し、実用的有用性を示す。
• エッジ数に対して線形にスケーリングされ、並列化可能であるため、大規模グラフに適している。
• 潜在要約は汎用的であり、タスク固有のチューニングなしに、異種的で、有向で、重み付きで、属性付きのグラフをサポートする。