[論文レビュー] Scalable Graph Embeddings via Sparse Transpose Proximities

Yuan Yin, Zhewei Wei|arXiv (Cornell University)|May 16, 2019

Advanced Graph Neural Networks参考文献 36被引用数 4

ひとこと要約

本稿では、有向グラフにおけるイン・ドリューとアウト・ドリューの分布を保持し、無向グラフにおける矛盾する最適化目標を解消するために、スパースな転置近接度を用いるスケーラブルなグラフ埋め込み手法STRAPを提案する。バックワード・プッシュを用いて転置近接度としてスパースなパーソナライズド・ページランクを効率的に計算し、スパarsity制約を施した非線形因子分解を適用することにより、STRAPはリンク予測、グラフ再構築、ノード分類の分野で最先端の性能を達成しながら、グラフサイズに対して線形スケーラビリティを維持する。

ABSTRACT

Graph embedding learns low-dimensional representations for nodes in a graph and effectively preserves the graph structure. Recently, a significant amount of progress has been made toward this emerging research area. However, there are several fundamental problems that remain open. First, existing methods fail to preserve the out-degree distributions on directed graphs. Second, many existing methods employ random walk based proximities and thus suffer from conflicting optimization goals on undirected graphs. Finally, existing factorization methods are unable to achieve scalability and non-linearity simultaneously. This paper presents an in-depth study on graph embedding techniques on both directed and undirected graphs. We analyze the fundamental reasons that lead to the distortion of out-degree distributions and to the conflicting optimization goals. We propose {\em transpose proximity}, a unified approach that solves both problems. Based on the concept of transpose proximity, we design \strap, a factorization based graph embedding algorithm that achieves scalability and non-linearity simultaneously. \strap makes use of the {\em backward push} algorithm to efficiently compute the sparse {\em Personalized PageRank (PPR)} as its transpose proximities. By imposing the sparsity constraint, we are able to apply non-linear operations to the proximity matrix and perform efficient matrix factorization to derive the embedding vectors. Finally, we present an extensive experimental study that evaluates the effectiveness of various graph embedding algorithms, and we show that \strap outperforms the state-of-the-art methods in terms of effectiveness and scalability.

研究の動機と目的

• 有向グラフにおける既存のグラフ埋め込み手法がアウト・ドリュー分布を保持できないという問題に対処すること。
• 無向グラフにおけるランダムウォークベースの手法における矛盾する最適化目標を解消すること。
• 要因分解ベースのグラフ埋め込みにおいて、スケーラビリティと非線形性を両立させること。
• 新しい近接度測定法を用いてイン・ドリューとアウト・ドリューの両方の保持と、矛盾のない最適化を統合すること。

提案手法

• 前向きおよび後向きPPRを組み合わせることで、イン・ドリューとアウト・ドリューの両方の情報を捉える統一的な近接度測定法を導入する。
• 大規模グラフ向けにスパースなパーソナライズド・ページランク（PPR）を効率的に計算するために、バックワード・プッシュアルゴリズムを用いる。
• 要因分解の前段階で効率的な非線形演算を可能にするために、近接度行列にスパarsity制約を適用する。
• 非線形変換を施した近接度行列に対して低ランク行列因子分解を実行し、ノード埋め込みを導出する。
• PPRのスパarsityを活用することで、エッジ数に対して線形時間計算量を保証する。
• 転置近接度を統合し、スケーラブルな計算と非線形モデリングを組み合わせた要因分解ベースのアルゴリズムとしてSTRAPを設計する。

実験結果

リサーチクエスチョン

• RQ1 統一された近接度測定法は、有向グラフにおけるイン・ドリューとアウト・ドリューの両方の分布を保持できるか？
• RQ2 転置近接度は、無向グラフにおける矛盾する最適化目的を解消できるか？
• RQ3 要因分解ベースの手法は、大規模グラフ埋め込みにおいてスケーラビリティと非線形性の両方を達成できるか？
• RQ4 減衰係数αおよび誤差許容値εの選択が、精度と実行時間のトレードオフにどのように影響するか？

主な発見

• STRAPはリンク予測およびグラフ再構築において最先端の手法を上回り、WikiVoteでは最大27.97%の精度を達成した。
• STRAPはノード構造的役割分類において最高の性能を示し、ブラジルでは90%のデータサンプリングで70.71%の精度、ヨーロッパでは65.50%の精度を達成した。
• 最大のグラフ（BC）では39秒で実行され、DeepWalk（1200秒）やNode2Vec（280秒）よりもはるかに高速で、優れたスケーラビリティを示した。
• STRAPの実行時間はエッジ数に対して線形にスケーリングされ、理論的な効率性が裏付けられた。
• αを1から0に減少させることで、誘導的（inductive）な性質から伝達的（transductive）な性質へと移行し、調整可能な誘導的バイアスを持つことが示された。
• εを小さくすることで再構築精度が向上するが、実行時間が増加する傾向にあり、効果的なトレードオフ制御が可能であることが確認された。