[論文レビュー] Billion-scale Network Embedding with Iterative Random Projection

Ziwei Zhang, Peng Cui+3 more|arXiv (Cornell University)|May 7, 2018

Advanced Graph Neural Networks参考文献 35被引用数 5

ひとこと要約

RandNE は、高次ノード類似度を明示的に計算せずに、イテレーティブなガウスランダムプロジェクションを用いることで、100億スケールのネットワーク向けに効率的なネットワーク埋め込みを実現する新規な手法である。従来の最先端手法に比べて最大100倍の高速化を達成し、通信不要な分散計算をサポートし、誤差の蓄積なしに動的ネットワーク更新が可能であり、16台のサーバーを用いて2億5000万ノードのWeChatネットワークに対して512次元の埋め込みを7時間未塔で生成する。

ABSTRACT

Network embedding, which learns low-dimensional vector representation for nodes in the network, has attracted considerable research attention recently. However, the existing methods are incapable of handling billion-scale networks, because they are computationally expensive and, at the same time, difficult to be accelerated by distributed computing schemes. To address these problems, we propose RandNE (Iterative Random Projection Network Embedding), a novel and simple billion-scale network embedding method. Specifically, we propose a Gaussian random projection approach to map the network into a low-dimensional embedding space while preserving the high-order proximities between nodes. To reduce the time complexity, we design an iterative projection procedure to avoid the explicit calculation of the high-order proximities. Theoretical analysis shows that our method is extremely efficient, and friendly to distributed computing schemes without any communication cost in the calculation. We also design a dynamic updating procedure which can efficiently incorporate the dynamic changes of the networks without error aggregation. Extensive experimental results demonstrate the efficiency and efficacy of RandNE over state-of-the-art methods in several tasks including network reconstruction, link prediction and node classification on multiple datasets with different scales, ranging from thousands to billions of nodes and edges.

研究の動機と目的

• 大規模ネットワークにおける既存のネットワーク埋め込み手法の計算不能性（高コストな最適化と分散スケーラビリティの低さ）を解決すること。
• 高次類似度行列の明示的計算を伴わずに、高次類似度を効率的に保持する手法を設計すること。
• 大規模ネットワーク埋め込みにおける通信不要な分散計算を可能にする手法を提供すること。
• イテレーション間での誤差蓄積なしに動的ネットワーク更新をサポートすること。
• 現実世界の大規模ネットワーク（100億ノード規模）において、高い効率性と競争力のあるパフォーマンスを両立すること。

提案手法

• 高次類似度を保持しつつ、ノードを低次元空間にマップするためのガウスランダムプロジェクション手法を提案する。
• 高次類似度行列の明示的計算を回避するイテレーティブなプロセスを導入し、時間計算量を線形に削減する。
• 繰り返しランダムプロジェクションによって、高次類似度保持の行列分解目的関数を近似する。
• 理論的分析により、分散環境下での計算効率性と通信不要性を証明する。
• ネットワーク変更に伴い埋め込みを段階的に更新する動的更新手順を組み込むことで、誤差蓄積を防止する。
• ランダム化されたスケーラブルなフレームワークを採用し、分散システムおよびストリーミングデータと本質的に互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 スパースで100億スケールのネットワークにおいて、ランダムプロジェクションを高次類似度を保持するために効果的に適応できるか？
• RQ2 イテレーティブプロジェクションにより、高次類似度行列の明示的計算を完全に排除しつつ、埋め込み品質を維持できるか？
• RQ3 通信オーバーヘッドなしに分散環境で線形スケーリングが達成できるか？
• RQ4 誤差蓄積なしに、動的ネットワーク変更を効率的に処理できるか？
• RQ5 数千から100億ノードにわたるネットワークにおいて、実行時間と精度の両面でスケーリング特性はどのように現れるか？

主な発見

• RandNE は、数千から100億ノードおよびエッジを含むデータセットにおいて、最先端手法に比べ最大100倍の高速化を達成した。
• WeChat ネットワーク（2億5000万ノード、48億エッジ）において、16台の分散サーバーを用いて7時間未満で512次元の埋め込みを計算した。
• 1〜4のサブクラスタを用いた環境で、スロープが約0.8の線形スケーリングを示し、優れた分散スケーラビリティを確認した。
• RandNE-D（動的更新）は、RandNE-R（再起動から再計算）と同一のAUCスコアを達成し、動的環境下での誤差蓄積がないことを実証した。
• リンク予測およびノード分類のタスクにおいて、特に高次類似度が重要な大規模ネットワークでは、RandNEは常にベースラインを上回るか同等のパフォーマンスを示した。
• 理論的および実験的結果により、RandNE が計算的に効率的であり、分散環境下で通信不要であり、動的ネットワーク進化に対して頑健であることが確認された。