[論文レビュー] Benchmarks for Graph Embedding Evaluation

Palash Goyal, Di Huang+4 more|arXiv (Cornell University)|Aug 19, 2019

Advanced Graph Neural Networks参考文献 44被引用数 11

ひとこと要約

本論文は、100種類の多様な実世界ネットワークおよび合成グラフを対象とし、MAPやPrecision@100といったメトリクスを用いた統一された評価プロトコルを採用して、グラフ埋め込み手法を評価する包括的なベンチマークフレームワークを紹介する。構造的性質に応じた手法のパフォーマンスを同定し、順位付けにGFSスコアを導入し、特定のデータタイプに最適な手法選定を支援するオープンソースのPythonライブラリ（GEM-Benchmark）を提供する。

ABSTRACT

Graph embedding is the task of representing nodes of a graph in a low-dimensional space and its applications for graph tasks have gained significant traction in academia and industry. The primary difference among the many recently proposed graph embedding methods is the way they preserve the inherent properties of the graphs. However, in practice, comparing these methods is very challenging. The majority of methods report performance boosts on few selected real graphs. Therefore, it is difficult to generalize these performance improvements to other types of graphs. Given a graph, it is currently impossible to quantify the advantages of one approach over another. In this work, we introduce a principled framework to compare graph embedding methods. Our goal is threefold: (i) provide a unifying framework for comparing the performance of various graph embedding methods, (ii) establish a benchmark with real-world graphs that exhibit different structural properties, and (iii) provide users with a tool to identify the best graph embedding method for their data. This paper evaluates 4 of the most influential graph embedding methods and 4 traditional link prediction methods against a corpus of 100 real-world networks with varying properties. We organize the 100 networks in terms of their properties to get a better understanding of the embedding performance of these popular methods. We use the comparisons on our 100 benchmark graphs to define GFS-score, that can be applied to any embedding method to quantify its performance. We rank the state-of-the-art embedding approaches using the GFS-score and show that it can be used to understand and evaluate novel embedding approaches. We envision that the proposed framework (https://www.github.com/palash1992/GEM-Benchmark) will serve the community as a benchmarking platform to test and compare the performance of future graph embedding techniques.

研究の動機と目的

• 多様なグラフタイプにわたるグラフ埋め込み手法の標準化され、再現可能な評価が不足している問題に対処すること。
• 社会的・生物学的・技術的・経済的分野にまたがる、構造的性質が異なる100種類の実世界および合成グラフのベンチマークを構築すること。
• MAPやPrecision@100といった一貫したメトリクスを用いた統一された評価フレームワークを構築し、最先端の埋め込み手法およびヒューリスティック手法を公平に比較すること。
• 入力グラフの特徴に基づいて最適な埋め込み手法を自動的に選定する、オープンソースのPythonライブラリ（GEM-Benchmark）を提供すること。
• サイズ、平均次数、埋め込み次元といった異なるグラフ特性下での埋め込み手法のパフォーマンスを特定すること。

提案手法

• ベンチマークは、CommunityFitNetコロナスおよびSNAPから得た100の実世界ネットワークを、ICON分類法に従って4つのドメインに分類して使用する。
• 合成グラフは、スモールワールド性やスケールフリー性といった構造的性質を制御できるように、Stochastic Block Model、Barabasi-Albert、R-matなどのモデルを用いて生成する。
• リンク予測タスクにおける標準的なメトリクス（MAPおよびPrecision@100）を用いてパフォーマンスを評価する。
• GFSスコアを新たに導入し、ドメインおよびグラフタイプにわたる埋め込み手法の定量的順位付けを可能にする。
• グラフサイズ（1024〜8192ノード）、平均次数、埋め込み次元を変化させた評価を実施し、感度を評価する。
• 入力グラフの特徴に基づいて手法選定を自動化するオープンソースのPythonライブラリ（GEM-Benchmark）をリリースする。

実験結果

リサーチクエスチョン

• RQ1 構造的性質が異なる多様な実世界および合成グラフにおいて、どのグラフ埋め込み手法が最も優れたパフォーマンスを示すか？
• RQ2 異なるドメインにおいて、グラフ埋め込み手法は、共通の近傍数（Common Neighbors）やAdamic-Adarといった従来のヒューリスティック手法と比べてどのように差をつけるか？
• RQ3 埋め込み手法は、グラフサイズ、平均ノード次数、埋め込み次元に対してどれほど感度を示すか？
• RQ4 どのようなグラフ構造的性質が、特定の埋め込み技術のパフォーマンスを高めたり低くしたりするか？
• RQ5 統一されたベンチマークおよびスコアリングシステム（GFSスコア）は、与えられたグラフに対して最適な埋め込み手法を信頼性高く順位付け・推奨できるか？

主な発見

• Adamic-Adarやジャッカード係数といったヒューリスティック手法は、インターネット系および合成グラフにおいて、特にPrecision@100で優れたパフォーマンスを示す。これは、スケールフリー性やスモールワールド性と整合しているためである。
• HOPEおよびラプラシアン固有ベクトル法（Laplacian Eigenmaps）は、一貫して上位にランクされ、特に大規模かつ高密度なグラフにおいてPrecision@100で顕著な優位性を示す。
• グラフ因子分解（Graph Factorization）は、合成インターネット系グラフにおいて良好なパフォーマンスを示すが、SDNEは単純で構造的な合成グラフでは過学習のためパフォーマンスが低い。
• MAPのパフォーマンスはグラフサイズの増加に伴い一般的に低下するが、ノード密度の上昇に伴い局所的情報が増加するため、Precision@100は向上する。
• 高い埋め込み次元は、MAPおよびPrecision@100スコアを一貫して向上させ、特に小さくノイズの少ないグラフにおいてその効果が顕著に現れる。
• GFSスコアは最先端手法を効果的に順位付けしており、HOPEおよびnode2vecは多様なグラフタイプにおいて最上位に位置づけられる。