[論文レビュー] Homogeneous Network Embedding for Massive Graphs via Reweighted Personalized PageRank

Renchi Yang, J. Y. Shi+3 more|arXiv (Cornell University)|Jun 17, 2019

Advanced Graph Neural Networks参考文献 71被引用数 4

ひとこと要約

本稿では、再重み付けされた個人向けPageRank（PPR）を用いて、大規模グラフにおける同型ネットワーク埋め込みのスケーラビリティと有効性を高める、スケーラブルで効果的な手法であるノード再重み付けPageRank（NRP）を提案する。PPRにノード次数情報を統合することで局所的バイアスを是正し、単一のCPUコアを用いて10億エッジのTwitterグラフ上で4時間未塔で実行される。リンク予測、ノード分類、グラフ再構築の各タスクで最先端の性能を達成する。

ABSTRACT

Given an input graph G and a node v in G, homogeneous network embedding (HNE) maps the graph structure in the vicinity of v to a compact, fixed-dimensional feature vector. This paper focuses on HNE for massive graphs, e.g., with billions of edges. On this scale, most existing approaches fail, as they incur either prohibitively high costs, or severely compromised result utility. Our proposed solution, called Node-Reweighted PageRank (NRP), is based on a classic idea of deriving embedding vectors from pairwise personalized PageRank (PPR) values. Our contributions are twofold: first, we design a simple and efficient baseline HNE method based on PPR that is capable of handling billion-edge graphs on commodity hardware; second and more importantly, we identify an inherent drawback of vanilla PPR, and address it in our main proposal NRP. Specifically, PPR was designed for a very different purpose, i.e., ranking nodes in G based on their relative importance from a source node's perspective. In contrast, HNE aims to build node embeddings considering the whole graph. Consequently, node embeddings derived directly from PPR are of suboptimal utility. The proposed NRP approach overcomes the above deficiency through an effective and efficient node reweighting algorithm, which augments PPR values with node degree information, and iteratively adjusts embedding vectors accordingly. Overall, NRP takes O(mlogn) time and O(m) space to compute all node embeddings for a graph with m edges and n nodes. Our extensive experiments that compare NRP against 18 existing solutions over 7 real graphs demonstrate that NRP achieves higher result utility than all the solutions for link prediction, graph reconstruction and node classification, while being up to orders of magnitude faster. In particular, on a billion-edge Twitter graph, NRP terminates within 4 hours, using a single CPU core.

研究の動機と目的

• 10億エッジを有する大規模グラフにおいて、既存の同型ネットワーク埋め込み（HNE）手法のスケーラビリティと実用性の制限を解消すること。
• HNEにおけるノーマルな個人向けPageRank（PPR）の根本的欠陥を同定すること：PPRは局所的ランク付けを目的として設計されており、グローバルなグラフ表現には不適切であり、結果として埋め込みの品質が最適でない。
• ノード次数情報をPPRに統合するノード再重み付け機構を設計し、埋め込み品質を向上させつつ効率性を維持すること。
• コンsumerハードウェアを用いて、大規模グラフにおいてリンク予測、ノード分類、グラフ再構築といった下流タスクで高い性能を達成すること。

提案手法

• ノード再重み付けPageRank（NRP）を提案する。これは、再重み付け戦略を用いてノード次数情報を統合することで、標準的なPPRを強化した新規なHNE手法である。
• 正則化された目的関数を最小化する枠組みから導出された閉形式の更新ルールを用い、反復的アルゴリズムにより埋め込みベクトルを再調整する。
• 時間計算量O(m log n)、空間計算量O(m)を達成するため、前向きおよび後向きの重み更新機構（アルゴリズム2および4）を設計する。ここでmはエッジ数を表す。
• 精度と収束性を制御するパrameter化された近似スキーム（ℓ₁, ℓ₂, α, ε）を導入し、速度と精度のトレードオフを可能にする。
• PPR値が無限回のランダムウォークを要約しているという事実を活用し、多ホップのトポロジカル構造をコン pact かつ情報豊富な代理指標として用いる。
• 対称的な再重み付け関数を適用し、PPR値をノード次数でスケーリングすることで、高次ノードが埋め込みに有意義に寄与するが、グローバル構造は歪めないよう保証する。

実験結果

リサーチクエスチョン

• RQ1 計算コストが著しく増大するおそれがある中で、大規模グラフにおけるスケーラブルな同型ネットワーク埋め込みに、個人向けPageRank（PPR）を効果的に再利用することは可能か？
• RQ2 HNEにノーマルなPPRを用いる際の主な限界とは何か？ そして、それらがグローバルなグラフ表現タスクにおける埋め込み品質に与える影響は？
• RQ3 ノード次数情報をPPRに統合することで、その局所的バイアスを是正し、下流の機械学習タスクにおける埋め込みの実用性を向上させることは可能か？
• RQ4 時間計算量が線形のままに保たれつつ、大規模グラフにおける埋め込み品質を著しく向上させる、効率的な反復的再重み付けアルゴリズムを設計することは可能か？

主な発見

• NRPは、7つの実世界グラフにおいて、比較対象の18の手法すべてを上回る埋め込みの実用性を、リンク予測、グラフ再構築、ノード分類の各タスクで達成した。
• 10億エッジを有するTwitterグラフでは、NRPは単一のCPUコアを用いて全ノードの埋め込みを4時間未塔で計算し、優れたスケーラビリティを示した。
• 有向Diggデータセットにおいて、NRPはPPRベースのベースライン（STRAP, VERSE, APP）を最低0.7%のAUC向上で上回り、変化するグラフにおける優れた性能を示した。
• NRPの実行時間はノード数およびエッジ数に線形に増加し、O(m log n)の時間計算量であることを裏付け、強力なスケーラビリティを確認した。
• ℓ₂およびℓ₁のパラメータを増加させると実行時間が延びるが、αはほとんど影響を及ぼさない。これは理論的な時間計算量モデルと整合的である。
• ノード再重み付け機構により、PPRの局所的バイアスが是正され、複数のベンチマークタスクおよびデータセットで確認された埋め込み品質の著しい向上が達成された。