[論文レビュー] Anonymous Walk Embeddings

Sergey Ivanov, Evgeny Burnaev|arXiv (Cornell University)|May 30, 2018

Advanced Graph Neural Networks参考文献 25被引用数 78

ひとこと要約

本論文は Anonymous Walk Embeddings (AWE) を提案し、2つの無監督アプローチ（特徴ベースとデータ駆動）を用いて匿名ウォークを用いてグラフ全体を埋め込む。グラフ分類性能は競合的または最先端の水準に達する。

ABSTRACT

The task of representing entire graphs has seen a surge of prominent results, mainly due to learning convolutional neural networks (CNNs) on graph-structured data. While CNNs demonstrate state-of-the-art performance in graph classification task, such methods are supervised and therefore steer away from the original problem of network representation in task-agnostic manner. Here, we coherently propose an approach for embedding entire graphs and show that our feature representations with SVM classifier increase classification accuracy of CNN algorithms and traditional graph kernels. For this we describe a recently discovered graph object, anonymous walk, on which we design task-independent algorithms for learning graph representations in explicit and distributed way. Overall, our work represents a new scalable unsupervised learning of state-of-the-art representations of entire graphs.

研究の動機と目的

• タスクに依存せず、スケーラブルなグラフレベルの表現を提案・動機づける。
• 特徴ベースおよびデータ駆動 embedding の核となるグラフオブジェクトとして匿名ウォークを導入する。
• グラフ埋め込みを生成するための効率的なサンプリングと学習アルゴリズムを開発する。
• 標準的なグラフ分類ベンチマークで最先端または競争力のある性能を示す。

提案手法

• 匿名ウォークを定義し、ノード周辺の局所トポロジーを特徴づける理論的能力を示す。
• サンプリングを通じて匿名ウォークの分布を推定し、p(a) からグラフ埋め込みを形成することによる特徴ベースの AWE を提案する。
• 匿名ウォークを語、グラフを文書とし、学習されたグラフベクトル d が埋め込みを表す、 paragraph-vector に類似したモデルをシミュレーションすることによるデータ駆動 AWE を提案する。
• スキップグラム風の目的関数を用いて、コンテキストウォークとグラフベクトルからターゲット匿名ウォークを予測する尤度を最大化し、コンテキストの平均化とグラフベクトルとの連結を行う。
• 確率的勾配降下法で学習し、グラフ間で W ウォーク埋め込み行列を共有して、学習済みウォーク表現の再利用を可能にする。
• 特徴ベースの場合はサンプリング法でスケーラブルな学習を可能にし、データ駆動の場合はサンプル済み softmax、階層softmax、または NCE のいずれかで効率的な学習を行う。

Figure 1: An example demonstrating the concept of anonymous walk. Two different random walks 1 and 2 of the graph correspond to the same anonymous walk 1. A random walk 3 corresponds to another anonymous walk 2.

実験結果

リサーチクエスチョン

• RQ1 匿名ウォークは無監督グラフ埋め込みのためのスケーラブルで有益な基盤となり得るか？
• RQ2 グラフカーネルやニューラルベースのベンチマークと比較した場合、特徴ベースおよびデータ駆動の AWE はグラフ分類タスクでどのように比較されるか？
• RQ3 ウォーク長、サンプリング、カーネルの選択が分類性能に与える影響は何か？
• RQ4 データ駆動アプローチは複数のグラフ間でウォーク埋め込みを再利用して、スケーラビリティと性能を向上させることができるか？

主な発見

• 特徴ベースの AWE はいくつかのソーシャルネットワークデータセットで競争力のあるまたは最先端に近い結果を達成し、いくつかのベースラインを上回ることがある。
• データ駆動 AWE は競争的な性能を示し、場合によっては特徴ベースの結果を上回ることがあり、特に長い学習時間と長いウォーク長で改善される。
• AWE 手法は無監督であり、カーネル分類器と組み合わせると、グラフ分類ベンチマークで教師ありニューラルモデルを上回る、あるいは同等となることがある。
• 本アプローチは数万ノード・エッジのグラフにもスケールし、埋め込み計算は Erdos–Renyi スケーリング実験で数秒しかかからない。
• RBFまたは多項式カーネルを用いると、AWEベースの分類の非線形決定境界を強化できる。

Figure 2: $Y$ -axis is in log scale. The number of different anonymous walks increases exponentially with length of walks $l$ .