[論文レビュー] InstantEmbedding: Efficient Local Node Representations

Ştefan Postăvaru, Anton Tsitsulin+4 more|arXiv (Cornell University)|Oct 14, 2020

Advanced Graph Neural Networks被引用数 7

ひとこと要約

InstantEmbedding は、局所的 Personalized PageRank (PPR) 計算を用いて、線形時間未満でグローバルに一貫性のある高品質なノード埋め込みを生成する新規手法である。DeepWalk や node2vec といった最先端手法と比較して、推論が最大 9,000 倍速く、メモリ使用量が最大 8,000 分の 1 にまで低減される一方で、ノード分類およびリンク予測タスクにおいても最先端の性能を達成または上回る。

ABSTRACT

In this paper, we introduce InstantEmbedding, an efficient method for generating single-node representations using local PageRank computations. We theoretically prove that our approach produces globally consistent representations in sublinear time. We demonstrate this empirically by conducting extensive experiments on real-world datasets with over a billion edges. Our experiments confirm that InstantEmbedding requires drastically less computation time (over 9,000 times faster) and less memory (by over 8,000 times) to produce a single node's embedding than traditional methods including DeepWalk, node2vec, VERSE, and FastRP. We also show that our method produces high quality representations, demonstrating results that meet or exceed the state of the art for unsupervised representation learning on tasks like node classification and link prediction.

研究の動機と目的

• 大規模でスパースラベル付きのグラフにおいて、全グラフ埋め込み手法の非効率性を解消すること。
• 局所的な構造的情報をのみ用いて、オンザフライで表現を計算する局所的ノード埋め込み手法を開発すること。
• 生成された埋め込みが、後続タスク用の既存のグラフ埋め込み基準とグローバルに一貫性を持つように保証すること。
• 高い表現品質を維持したまま、計算およびメモリのオーバーヘッドを大幅に削減すること。
• 埋め込みプロセスの局所性およびグローバル一貫性に関する理論的保証を提供すること。

提案手法

• ノード表現の基盤として、局所的 Personalized PageRank (PPR) ベクトルを用いる。
• 高次元の PPR 類似度を低次元埋め込みに圧縮するために、局所性に敏感なハッシュ化 (LSH) を適用する。
• PPR 行列の因子分解と埋め込みの一貫性を結びつける理論的枠組みを採用する。
• ε によってランダムウォークの深さを制限することで、時間計算量 O(1/α(1−α)ϵ + d) の線形時間未満で埋め込みを計算する。
• 局所性を保証するために、有界近傍内での PPR 値を最大演算子で集約する。
• 局所的埋め込みを元の PPR 行列構造に一致させることで、グローバル一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 局所的 PPR に基づく埋め込みは、全グラフ埋め込み手法と同等のグローバル一貫性を達成できるか？
• RQ2 局所的埋め込み手法は、時間およびメモリを著しく削減した上で、ノード分類およびリンク予測で最先端の性能を達成できるか？
• RQ3 精度の閾値 ε の選択が、精度と計算コストのトレードオフにどのように影響するか？
• RQ4 局所的 PPR に基づく埋め込み生成の理論的時間およびメモリ計算量はどのようになるか？
• RQ5 異なるグラフタイプにわたり、最も頑健な性能を示す埋め込み集約戦略（例：ハダマード、L2 距離）は何か？

主な発見

• 10億エッジのグラフにおいて、InstantEmbedding は DeepWalk や node2vec、VERSE、FastRP より最大 9,000 倍速く、8,000 分の 1 のメモリ使用量を達成した。
• BlogCatalog データセットでは、d=2048 の条件下でリンク予測の AUC-ROC が 93.84% に達し、node2vec (93.72%) や FastRP (90.99%) を上回った。
• CoAuthor データセットでは、d=2048 の条件下で AUC-ROC が 90.84% に達し、VERSE (92.75%) や FastRP (82.19%) を上回った。
• PPI および Flickr データセットにおけるマイクロ-F1 スコアでは、ε を小さくすることで精度が向上し、ε=10−6 まで向上したが、最も小さい ε では情報切断のためわずかに性能が低下した。
• UMAP 視覚化により、InstantEmbedding が意味のあるクラスタ構造（例：CoCit における研究分野）を保存していることが確認され、VERSE や DeepWalk と同等の性能を示した。
• 本手法は、すべての 6 つのベンチマークデータセット（PPI、BlogCatalog、CoCit、Flickr、YouTube、CoAuthor）において、リンク予測およびノード分類タスクでトップまたは準トップの性能を発揮し、高い耐性を示した。