[論文レビュー] Wasserstein Embedding for Graph Learning

Soheil Kolouri, Navid Naderializadeh+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Graph Neural Networks参考文献 64被引用数 4

ひとこと要約

WEGLは、ノード埋め込み間の Wasserstein 距離を用いて固定長のベクトル表現を生成することで、計算効率が高く線形なフレームワークを提案する。これにより、グラフレベルの予測が最先端の精度で高速に実行可能となり、グラフ数に対して線形の計算量を達成する。従来の方法が全組み合わせ比較に二次的計算量を要するのとは異なり、効率的である。

ABSTRACT

We present Wasserstein Embedding for Graph Learning (WEGL), a novel and fast framework for embedding entire graphs in a vector space, in which various machine learning models are applicable for graph-level prediction tasks. We leverage new insights on defining similarity between graphs as a function of the similarity between their node embedding distributions. Specifically, we use the Wasserstein distance to measure the dissimilarity between node embeddings of different graphs. Unlike prior work, we avoid pairwise calculation of distances between graphs and reduce the computational complexity from quadratic to linear in the number of graphs. WEGL calculates Monge maps from a reference distribution to each node embedding and, based on these maps, creates a fixed-sized vector representation of the graph. We evaluate our new graph embedding approach on various benchmark graph-property prediction tasks, showing state-of-the-art classification performance while having superior computational efficiency. The code is available at https://github.com/navid-naderi/WEGL.

研究の動機と目的

• すべてのグラフ間でペアワイズ類似度計算を要するグラフカーネル手法の高い計算コストを低減すること。
• 大規模グラフデータセットにおけるグラフニューラルネットワーク（GNN）およびカーネルベース手法のスケーラビリティの限界を克服すること。
• Wasserstein 距離を用いてメトリクスの整合性を保ちつつ、任意の下流機械学習モデルに対応可能なグラフ埋め込み手法を開発すること。
• Wassersteinに基づくグラフ類似度推定において、計算量を二次的から線形に削減すること。
• 大規模データセットにおけるグラフ性質予測タスクのための効率的な学習と推論を可能にすること。

提案手法

• WEGLは、各グラフのノード埋め込みから基準ノード埋め込み分布への Monge マップを計算し、輸送計画を導出する。
• 最適輸送マップを用いて、各グラフをヒルバート空間に埋め込み、固定長のベクトル表現を得る。
• 埋め込み済みグラフ間のユークリッド距離が、ノード埋め込み分布間の2- Wasserstein 距離を近似し、メトリクス構造を保持する。
• この手法は線形最適輸送を活用することで、すべてのグラフ間のペアワイズ距離計算を回避し、計算量を O(M²) から O(M) に削減する。
• ノード埋め込みを Wasserstein 距離計算の入力分布とし、基準分布はグラフ全体のプールドまたは学習された分布から得られる。
• 明示的なヒルバート空間埋め込みのため、SVM やランダムフォレスト、勾配ブースティングツリーなど、任意の下流分類器との統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 グラフ埋め込みにおいて、計算量を低減しつつ最先端の分類性能を達成できるか？
• RQ2 ユークリッド距離がノード埋め込み分布間の2- Wasserstein 距離を近似するようなヒルバート空間へのグラフ埋め込みが可能か？
• RQ3 Wassersteinに基づくグラフ類似度推定において、線形計算量アプローチが二次的計算量の手法を上回るスケーラビリティと性能を達成できるか？
• RQ4 提案された埋め込みフレームワークは、カーネル手法に限定されず、任意の標準的な機械学習分類器と組み合わせて使用可能か？
• RQ5 大規模グラフデータセットにおいて、WEGL は GNN やグラフカーネルベースラインと比較して、効率性と精度で優れているか？

主な発見

• WEGL は、ogbg-molhiv や TUD グラフ分類タスクを含む複数のベンチマークデータセットで、最先端または競争力のある分類精度を達成した。
• IMDB-BINARY データセットでは、GBDT を用いた WEGL が 75.2% の精度を達成し、GIN や他のベースラインを上回った。
• PROTEINS データセットでは、GBDT を用いた WEGL が 92.9% の精度に達し、次に良い手法を著しく上回った。
• 特にグラフ数が多いデータセットでは、WEGL の学習時間は WWL や GIN よりも数個のオーダー短く、線形計算量のおかげである。
• 推論においても、WEGL は CPU での GIN よりも速く、GPU 加速された GIN でさえも大きく上回った。
• 分子性質予測やソーシャルネットワーク解析を含む多様なデータセットにおいて、最小限の計算オーバーヘッドで高い性能を維持した。