[論文レビュー] Node Representation Learning for Multiple Networks: The Case of Graph Alignment.

Mark Heimann, Haoming Shen+1 more|arXiv (Cornell University)|Feb 17, 2018

Advanced Graph Neural Networks参考文献 34被引用数 7

ひとこと要約

本稿では、Nyström近似を用いたクロスネットワーク行列分解を用いて、スケーラブルなノード表現学習手法xNetMFを提案する。これにより、効率的かつ正確なグラフアラインメントが可能になる。本手法は、表現ベースのグラフアラインメント手法として初のREGALを導入し、数百万ノードを含む大規模ネットワークにおいて、従来手法に比べ20–30%高い精度と最大30倍の高速な学習を達成する。

ABSTRACT

Recent advances in representation learning produce node embeddings that may be used successfully in many downstream tasks (e.g., link prediction), but do not generally extend beyond a single network. Motivated by the prevalence of multi-network problems, such as graph alignment, similarity, and transfer learning, we introduce an elegant and principled node embedding formulation, Cross-network Matrix Factorization or xNetMF, to effectively and efficiently learn embeddings from similarities based on the nodes' structural and attribute identities (if available), which are comparable across networks. Leveraging the Nystr\om method for low-rank approximation, we achieve significant reduction in space and time compared to the na\ive approach of directly factorizing the node similarity matrix, with xNetMF running up to 30x faster than existing representation learning methods. We study its effectiveness on the task of network alignment, and introduce REGAL (REpresentation-based Graph ALignment), the first method to use node representation learning for this task. Extensive experiments on a variety of challenging real-world networks with and without attributes show that REGAL outperforms existing network alignment methods by 20 to 30% in accuracy on average, uses attributes up to 40x faster, and scales to networks with millions of nodes each.

研究の動機と目的

• 単一ネットワークに限定された従来のノード表現学習手法のギャップを埋めること。特に、グラフアラインメントのようなマルチネットワークタスクにおいて。
• 構造的および属性的類似性を用いて、複数のネットワーク間で比較可能なノード埋め込みを学習する、原理的かつスケーラブルな手法を開発すること。
• 低ランク近似を用いることで計算コストとメモリコストを削減し、大規模ネットワークにおける効率的な表現学習を可能にすること。
• 学習済みノード表現を活用する新しいグラフアラインメント手法REGALを設計し、アラインメントの精度と速度を向上させること。
• 実世界のネットワーク（属性あり・なしを含む）において、本手法の有効性を実証し、優れたスケーラビリティとパフォーマンスを示すこと。

提案手法

• 構造的および属性的同一性に基づくノード類似度をモデル化することで、複数のネットワークにおけるノード表現学習をクロスネットワーク行列分解（xNetMF）を用いて定式化する。
• フルノード類似度行列の近似にNyström法を適用し、直接的因子分解と比較して、空間的・時間的複雑度を顕著に低減する。
• 近似された類似度行列の因子分解により低次元埋め込みを学習し、ネットワーク間で効率的かつ比較可能な表現を実現する。
• 学習済み埋め込みを統合した新しいグラフアラインメントフレームワーク、REGALを構築し、構造的特徴に依存するのではなく、表現ベースのマッチングを採用する。
• 学習済み埋め込みを用いてアラインメント目的関数を最適化し、収束を高速化するとともに、アラインメント精度を向上させる。
• Nyströmに基づく低ランク近似の効率性を活用することで、1ネットワークあたり数百万ノードの規模のネットワークに対してもスケーリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数のネットワーク間で比較可能な埋め込みを生成できる統一されたノード表現学習フレームワークを設計できるか？
• RQ2 xNetMFにおけるNyströmに基づく低ランク近似は、アラインメント精度を損なわず、どのように効率性を向上させるか？
• RQ3 構造的特徴のみに依存する手法と比較して、学習済みノード表現を用いることで、グラフアラインメントのパフォーマンスはどの程度向上するか？
• RQ4 提案されたREGAL手法は、1ネットワークあたり数百万ノードの大規模ネットワークにどの程度スケーリング可能か。また、既存のアラインメント技術と比較して、速度と精度の点でどのように差がつくか？
• RQ5 ノード属性をアラインメントタスクでどの程度効果的に活用できるか。また、属性非依存ベースラインと比較して、パフォーマンス向上はどの程度か？

主な発見

• REGALは、既存の最先端のネットワークアラインメント手法と比較して、平均して20–30%高いアラインメント精度を達成する。
• xNetMFは、低ランク行列因子分解にNyström近似を用いることで、従来の表現学習手法に比べ最大30倍高速に実行される。
• 本手法は、1ネットワークあたり数百万ノードの規模のネットワークにもスケーリング可能であり、大規模な実世界データセットへの実用的応用を可能にする。
• 属性が利用可能な場合、REGALはベースライン手法に比べ最大40倍高速に学習を実行でき、著しく訓練効率が向上する。
• 学習済み埋め込みはネットワーク間で比較可能であり、明示的なノード対応関係がなくても、効果的なクロスネットワークマッチングが可能になる。
• 多様な実世界ネットワークを用いた広範な実験により、xNetMFおよびREGALの強靭性と一般化性能が、異なるネットワークタイプや属性の有無に関係なく確認された。