[論文レビュー] subgraph2vec: Learning Distributed Representations of Rooted Sub-graphs from Large Graphs

A. Sankara Narayanan, Mahinthan Chandramohan+3 more|arXiv (Cornell University)|Jun 29, 2016

Advanced Graph Neural Networks参考文献 6被引用数 139

ひとこと要約

subgraph2vec は大規模グラフから根付き部分グラフの教師なし分散表現を学習し、それらを分類器や深層モデルと組み合わせてグラフ関連タスクを改善し、従来のグラフカーネルを上回る。

ABSTRACT

In this paper, we present subgraph2vec, a novel approach for learning latent representations of rooted subgraphs from large graphs inspired by recent advancements in Deep Learning and Graph Kernels. These latent representations encode semantic substructure dependencies in a continuous vector space, which is easily exploited by statistical models for tasks such as graph classification, clustering, link prediction and community detection. subgraph2vec leverages on local information obtained from neighbourhoods of nodes to learn their latent representations in an unsupervised fashion. We demonstrate that subgraph vectors learnt by our approach could be used in conjunction with classifiers such as CNNs, SVMs and relational data clustering algorithms to achieve significantly superior accuracies. Also, we show that the subgraph vectors could be used for building a deep learning variant of Weisfeiler-Lehman graph kernel. Our experiments on several benchmark and large-scale real-world datasets reveal that subgraph2vec achieves significant improvements in accuracies over existing graph kernels on both supervised and unsupervised learning tasks. Specifically, on two realworld program analysis tasks, namely, code clone and malware detection, subgraph2vec outperforms state-of-the-art kernels by more than 17% and 4%, respectively.

研究の動機と目的

• 大規模グラフにおける意味的サブ構造依存性を捉える潜在的なサブグラフ表現の必要性を動機づける。
• 局所的近傍情報を用いて根付きサブグラフの潜在表現を学習する教師なし手法を開発する。
• サブグラフベクトルがグラフ分類、クラスタリング、リンク予測、コミュニティ検出などの下流タスクをどのように強化できるかを示す。
• subgraph2vec が Weisfeiler-Lehman グラフカーネルの深層学習バリアントを支えることを示す。
• コードクローンおよびマルウェア検出タスクを含むベンチマークおよび大規模な実世界データセットでこのアプローチを検証する。

提案手法

• ノード周辺の局所的な近傍情報を活用して、潜在的な根付きサブグラフ表現を教師なしで学習する。
• 根付きサブグラフを連続ベクトルとして表現し、CNNs、SVMs、および関連クラスタリングアルゴリズムへの入力として適した形式にする。
• サブグラフベクトルを Weisfeiler-Lehman グラフカーネルの深層学習バリアントに統合する。
• 学習した表現を多様なタスクで評価し、既存のグラフカーネルに対する精度の改善を示す。
• 大規模グラフおよび実世界データセットへの適用性を示す。

実験結果

リサーチクエスチョン

• RQ1 大規模グラフから根付きサブグラフの潜在表現を教師なしで学習できるか？
• RQ2 既存のグラフカーネルと比較して、サブグラフベクトルはグラフ分類、クラスタリング、リンク予測、コミュニティ検出の性能を向上させるか？
• RQ3 サブグラフ表現を使用して Weisfeiler-Lehman グラフカーネルの深層学習バリアントを作成できるか？
• RQ4 ベンチマークおよび実世界データセットの実験は subgraph2vec の有意な精度向上を示すか？
• RQ5 特に、コードクローンおよびマルウェア検出タスクで subgraph2vec ベースの手法はどう機能するか？

主な発見

• サブグラフベクトルは CNN や SVM などの分類器と組み合わせて、従来のカーネルより高い精度を達成できる。
• このアプローチは Weisfeiler-Lehman グラフカーネルの深層学習バリアントを可能にする。
• ベンチマークおよび大規模な実世界データセットで、監視付きおよび教師なしタスクにおいて既存のグラフカーネルより顕著な精度向上を示す。
• コードクローンタスクでは、subgraph2vec は最先端のカーネルを 17% 以上上回る。
• マルウェア検出タスクでは、subgraph2vec は最先端のカーネルを 4% 以上上回る。