[論文レビュー] Fast and Accurate Network Embeddings via Very Sparse Random Projection

Haochen Chen, Syed Fahad Sultan+3 more|arXiv (Cornell University)|Aug 30, 2019

Advanced Graph Neural Networks参考文献 35被引用数 4

ひとこと要約

FastRPは、高次の近接性を捉える正規化されたノード類似度行列を構築し、次元削減に非常にスパースなランダム射影を適用する、非常にスケーラブルなネットワーク埋め込み手法である。DeepWalkと比較して4,000倍以上の高速化を達成しながら、ノード分類やリンク予測といった下流タスクにおける性能を同等または上回る。

ABSTRACT

We present FastRP, a scalable and performant algorithm for learning distributed node representations in a graph. FastRP is over 4,000 times faster than state-of-the-art methods such as DeepWalk and node2vec, while achieving comparable or even better performance as evaluated on several real-world networks on various downstream tasks. We observe that most network embedding methods consist of two components: construct a node similarity matrix and then apply dimension reduction techniques to this matrix. We show that the success of these methods should be attributed to the proper construction of this similarity matrix, rather than the dimension reduction method employed. FastRP is proposed as a scalable algorithm for network embeddings. Two key features of FastRP are: 1) it explicitly constructs a node similarity matrix that captures transitive relationships in a graph and normalizes matrix entries based on node degrees; 2) it utilizes very sparse random projection, which is a scalable optimization-free method for dimension reduction. An extra benefit from combining these two design choices is that it allows the iterative computation of node embeddings so that the similarity matrix need not be explicitly constructed, which further speeds up FastRP. FastRP is also advantageous for its ease of implementation, parallelization and hyperparameter tuning. The source code is available at https://github.com/GTmac/FastRP.

研究の動機と目的

• サンプリングと次元削減における高コストな最適化によって生じる定数要因のため、最先端のネットワーク埋め込み手法に見られるスケーラビリティのボトルネックを解消すること。
• ネットワーク埋め込みの品質は、主に適切な類似度行列の構築に起因するが、次元削減手法の選択にはあまり依存しないことを見出すこと。
• 類似度行列の構築を高コストな最適化から分離し、反復的かつメモリ効率の良い計算を可能にする手法を開発すること。
• 代表表現の品質を損なわず、大規模グラフにおいて高い性能と極めて高い高速化を両立すること。

提案手法

• 隣接行列の累乗を用いて、複数ホップにわたる推移的関係を捉える高次の近接性に基づくノード類似度行列を構築する。
• 行列乗算として効率的に定式化された、$\mathbf{A}^k$ の収束特性を活用した、次数の高いノードを軽減する新しい正規化方式を適用する。
• 最適化を必要としないスケーラブルな次元削減手法として、非常にスパースなランダム射影（VSRP）を採用し、計算コストの高いモデル（例：Skip-gram）に代わる。
• 正規化とVSRPを組み合わせることで、類似度行列の明示的保存を回避し、埋め込みの反復的計算を可能にする。
• 並列処理と効率的な実装を可能にするために、全パイプラインを行列演算の系列として形式化する。
• 正規化された類似度行列とVSRPの数学的構造を活用し、ストリーミングまたはインクリメンタルな計算を可能にし、メモリオーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 類似度行列の構築を高コストな最適化から分離することで、高速かつ高精度なネットワーク埋め込み手法を実現できるか？
• RQ2 スパースで現実的なグラフにおいて、適切なノード次数の正規化が学習済み埋め込みの品質に与える影響は何か？
• RQ3 従来の密行列またはガウス分布に基づくランダム射影と比較して、非常にスパースなランダム射影はスケーラビリティと表現品質の面でどのように異なるか？
• RQ4 正規化された類似度行列とスパースなランダム射影の組み合わせによって、埋め込みの反復的計算が可能になるか？
• RQ5 DeepWalkのような最先端手法の性能を、速度面でどれほど上回れるか、同時に精度を維持または向上させられるか？

主な発見

• YouTubeグラフにおいて、FastRPはDeepWalkと比較して4,000倍以上の高速化を達成し、埋め込み処理を数分で完了した。
• ノード分類およびリンク予測タスクにおいて、FastRPは複数の現実世界のネットワークでDeepWalkおよびnode2vecと同等またはより優れた品質の埋め込みを生成した。
• 正規化された類似度行列の構築は、高次数ノードの支配を軽減することで、埋め込み品質を顕著に向上させた。これは、先行研究で無視されていた要因である。
• 非常にスパースなランダム射影は、反復的最適化を必要とせず、高速な次元削減を可能にした。これは、Skip-gramベースの手法とは対照的である。
• 反復的計算フレームワークにより、FastRPは類似度行列の完全な明示的保存を回避でき、メモリ使用量を削減し、スケーラビリティを向上させた。
• 本手法は容易に並列化可能であり、最小限のハイパーパrameterチューニングで済むため、実用的なデプロイのしやすさが向上した。