[論文レビュー] Learning Role-based Graph Embeddings

Nesreen K. Ahmed, Ryan A. Rossi+5 more|arXiv (Cornell University)|Feb 7, 2018

Advanced Graph Neural Networks参考文献 32被引用数 70

ひとこと要約

Role2Vecは属性付きランダムウォークを介してタイプベースの埋め込みを学習し、ノードやグラフの新規ノードへ一般化する。従来手法より大幅に少ないスペースでAUCを改善する。

ABSTRACT

Random walks are at the heart of many existing network embedding methods. However, such algorithms have many limitations that arise from the use of random walks, e.g., the features resulting from these methods are unable to transfer to new nodes and graphs as they are tied to vertex identity. In this work, we introduce the Role2Vec framework which uses the flexible notion of attributed random walks, and serves as a basis for generalizing existing methods such as DeepWalk, node2vec, and many others that leverage random walks. Our proposed framework enables these methods to be more widely applicable for both transductive and inductive learning as well as for use on graphs with attributes (if available). This is achieved by learning functions that generalize to new nodes and graphs. We show that our proposed framework is effective with an average AUC improvement of 16.55% while requiring on average 853x less space than existing methods on a variety of graphs.

研究の動機と目的

• 頂点の同一性を超えた構造的役割を捉える、転送可能で帰納的なグラフ埋め込みの必要性を動機付ける。
• 属性/構造特徴を用いてノードを少数の vertex-types にマップする Role2Vec フレームワークを導入する。
• タイプ間で共有される埋め込みを学習するため、vertex-types 上で動作する attributed random walks を開発する。
• トランダクティブで id ベースの埋め込み手法と比べた空間効率性と転送性を示す。

提案手法

• ノード属性 X から M 種類へ写像 Phi によって vertex-types を定義する。ここで M << Nv。
• Phi(x_vi) を導入し、ランダムウォークが頂点IDの列ではなく vertex-types の列を生成するように導く。
• P[Phi(x_ci)|Phi(xi)] を、タイプの埋め込みを用いたソフトマックスで、文脈タイプの積としてモデル化する。
• 各 vertex-type の埋め込みを SGD で学習し、同じ型のノード間でパラメータを共有する。
• Phi の 2 つのオプションを提供する：属性の単純結合、または学習された低ランク因子分解による型形成。
• 空間計算量を O(MD + Nv) とし、M が Nv に近づくとベースライン手法へ収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 Role2Vec は未見ノードやグラフへ一般化する転送可能な埋め込みを生み出せるか？
• RQ2 属性付きウォークを介して頂点属性と構造特徴を組み込むことは、従来のランダムウォークベースの手法より予測性能を向上させるか？
• RQ3 個々の頂点の埋め込みではなく vertex-types の埋め込みを学ぶことの空間効率の利点は何か？
• RQ4 異なる Phi マッピング（結合 vs. 因子分解）は埋め込み品質にどう影響するか？
• RQ5 属性付きランダムウォークは近接性のみの手法より役割（構造的類似性）をよりよく捉えるか？

主な発見

Graph	R2V	R2V-DW	N2V	DW	LINE	S2V
bn--cat	0.710	missing	0.688	missing	0.627	0.627
bn--rat--brain	0.748	0.731	0.716	0.716	0.672	0.669
bn--rat--cerebral	0.867	0.846	0.813	0.811	0.709	0.858
ca--CSphd	0.838	0.838	0.768	0.735	0.620	0.791
eco--fweb--baydry	0.681	0.656	0.655	0.627	0.660	0.623
ia--radoslaw--email	0.867	0.847	0.756	0.745	0.769	0.857
soc--anybeat	0.961	0.960	0.854	0.848	0.850	0.883
soc--dolphins	0.656	0.597	0.580	0.498	0.551	0.590
fb--Yale4	0.793	0.793	0.742	0.728	0.763	0.758
web--EPA	0.926	0.925	0.804	0.738	0.768	0.861

• Role2Vec は様々なグラフで平均 AUC を 16.55% 改善し、はるかに低い空間使用量を実現（平均 853 倍少なく）。
• 埋め込みは個々の頂点ではなく vertex-types のために学習され、強力な空間効率を実現（O(MD + Nv) 対 O(NvD)）。
• 属性付きウォークを用いることで Role2Vec は DeepWalk、node2vec、他のベースラインを上回り、複数グラフにわたるリンク予測タスクで優位を示した。
• Mean operator embedding と product operator embedding は、それぞれベースラインに対して平均+11.1%、+22% の利得を提供。
• 結合と単純モチーフ（2-スター、三角形 など）に基づく Phi は競争力のある結果をもたらし、因子分解ベースの Phi も同等。
• Role2Vec の各種はベースラインの性能にほぼ近づきつつ、はるかに小さな空間効率を維持する。