[論文レビュー] graph2vec: Learning Distributed Representations of Graphs

A. Sankara Narayanan, Mahinthan Chandramohan+4 more|arXiv (Cornell University)|Jul 17, 2017

Advanced Graph Neural Networks参考文献 7被引用数 519

ひとこと要約

graph2vec は、根付き部分グラフを文書中の語として扱うことにより、全グラフのデータ駆動の教師なし埋め込みを学習し、グラフ分類とクラスタリングをグラフカーネルと競合する性能で可能にする。

ABSTRACT

Recent works on representation learning for graph structured data predominantly focus on learning distributed representations of graph substructures such as nodes and subgraphs. However, many graph analytics tasks such as graph classification and clustering require representing entire graphs as fixed length feature vectors. While the aforementioned approaches are naturally unequipped to learn such representations, graph kernels remain as the most effective way of obtaining them. However, these graph kernels use handcrafted features (e.g., shortest paths, graphlets, etc.) and hence are hampered by problems such as poor generalization. To address this limitation, in this work, we propose a neural embedding framework named graph2vec to learn data-driven distributed representations of arbitrary sized graphs. graph2vec's embeddings are learnt in an unsupervised manner and are task agnostic. Hence, they could be used for any downstream task such as graph classification, clustering and even seeding supervised representation learning approaches. Our experiments on several benchmark and large real-world datasets show that graph2vec achieves significant improvements in classification and clustering accuracies over substructure representation learning approaches and are competitive with state-of-the-art graph kernels.

研究の動機と目的

• 全グラフの固定長埋め込みを学習させ、分類やクラスタリングなどの下流MLタスクを可能にする動機づけ。
• handcraftedなグラフカーネルと部分構造埋め込みの限界に対処し、データ駆動・教師なし・タスク非依存アプローチを提案する。
• グラフを根付き部分グラフの文書としてモデル化するという文書埋め込みのアイデアを活用する。
• ベンチマークデータセットおよび大規模実世界データ（マルウェアグラフ）で、分類とクラスタリングタスクにおける有効性を示す。

提案手法

• 各グラフをノード周辺の根付き部分グラフからなる文書として表現する（次数Dまで）。
• WL再ラベリングを用いて根付き部分グラフを語彙アイテムとして生成・ラベリングする。
• ネガティブサンプリング付きのスキップグラムモデルを訓練し、graph embeddings を学習する。
• 確率的勾配降下法を用いてエポック間でグラフ埋め込みを反復的に更新する。
• 複数のデータセットで graph2vec を node2vec、sub2vec、WLカーネル、Deep WLカーネルと比較する。
• 固定次元 delta で、教師なし・タスク非依存の目的でグラフを埋め込む。

Figure 1: (a) doc2vec ’s skipgram model - Given a document d , it samples c words from d and considers them as co-occurring in the same context (i.e., context of the document d ) uses them to learn d ’s representation. (b) graph2vec - Given a graph G , it samples c rooted subgraphs around different

実験結果

リサーチクエスチョン

• RQ1 graph2vec が、ベンチマークデータセット上での精度と効率性の点で、最先端の部分構造表現学習法およびグラフカーネルと比較してどうか。
• RQ2 グラフ2vec が大規模な実世界のグラフ分類タスク（例: マルウェア検出）で、既存メソッドと比較してどのように性能を示すか。
• RQ3 グラフクラスタリングタスク（例: マルウェアファミリクラスタリング）において、競合手法と比較して graph2vec はどの程度性能を発揮するか。

主な発見

データセット	node2vec	sub2vec	WLカーネル	Deep WLカーネル	graph2vec
MUTAG	72.63 b1 10.20	61.05 b1 15.79	80.63 b1 3.07	82.95 b1 1.96	83.15 b1 9.25
PTC	58.85 b1 8.00	59.99 b1 6.38	56.91 b1 2.79	59.04 b1 1.09	60.17 b1 6.86
PROTEINS	57.49 b1 3.57	53.03 b1 5.55	72.92 b1 0.56	73.30 b1 0.82	73.30 b1 2.05
NCI1	54.89 b1 1.61	52.84 b1 1.47	80.01 b1 0.50	80.31 b1 0.46	73.22 b1 1.81
NCI109	52.68 b1 1.56	50.67 b1 1.50	80.12 b1 0.34	80.32 b1 0.33	74.26 b1 1.47

• ベンチマークデータセットでは、graph2vec は MUTAG、PTC、PROTEINS で他の表現学習およびカーネル手法を上回り、NCI1 および NCI109 では同程度の精度を示す。
• 大規模な実世界のマルウェア分類では、graph2vec は 99.03% の精度を達成し、node2vec、sub2vec、WLカーネル、Deep WLカーネル を上回る。
• Sub2vec はサンプリングの制約により概して他のデータセットで性能が劣る；node2vec は大きいグラフで苦戦する；WLカーネルは堅牢なベースラインを保ち、graph2vec との間に競合的なギャップを示す。
• Graph2vec は局所的およびグローバルなグラフ類似性を捉えるデータ駆動・構造保存的な表現を提供する。
• 埋め込みは一般的な分類器（RF、NN、SVM）と組み合わせてグラフ分類・クラスタリングに使用可能であり、いくつかのカーネルベース手法とは異なる。

Figure 2: Pre-training durations of graph embedding techniques