[論文レビュー] Understanding graph embedding methods and their applications

Mengjia Xu|arXiv (Cornell University)|Dec 15, 2020

Advanced Graph Neural Networks参考文献 63被引用数 12

ひとこと要約

本論文は、高次元でスパースなグラフを低次元で密なベクトル表現に変換する際に構造的性質を保持する、ランダムウォークベースおよびニューラルネットワークベースのグラフ埋め込み手法について包括的なレビューを提供している。これらの埋め込みは、ノード分類やリンク予測といった下流タスクにおいて有効であることが示され、G2Gモデルによる不確実性を考慮したガウス埋め込みという新規な貢献を加え、CORAM-LでAUC 0.93、F1-macro 0.85の最先端性能を達成した。

ABSTRACT

Graph analytics can lead to better quantitative understanding and control of complex networks, but traditional methods suffer from high computational cost and excessive memory requirements associated with the high-dimensionality and heterogeneous characteristics of industrial size networks. Graph embedding techniques can be effective in converting high-dimensional sparse graphs into low-dimensional, dense and continuous vector spaces, preserving maximally the graph structure properties. Another type of emerging graph embedding employs Gaussian distribution-based graph embedding with important uncertainty estimation. The main goal of graph embedding methods is to pack every node's properties into a vector with a smaller dimension, hence, node similarity in the original complex irregular spaces can be easily quantified in the embedded vector spaces using standard metrics. The generated nonlinear and highly informative graph embeddings in the latent space can be conveniently used to address different downstream graph analytics tasks (e.g., node classification, link prediction, community detection, visualization, etc.). In this Review, we present some fundamental concepts in graph analytics and graph embedding methods, focusing in particular on random walk-based and neural network-based methods. We also discuss the emerging deep learning-based dynamic graph embedding methods. We highlight the distinct advantages of graph embedding methods in four diverse applications, and present implementation details and references to open-source software as well as available databases in the Appendix for the interested readers to start their exploration into graph analytics.

研究の動機と目的

• 大規模で高次元的かつ異種的なネットワークにおける従来のグラフ分析の高い計算コストとメモリオーバーヘッドに対処すること。
• 複雑で不規則なグラフ構造を低次元連続ベクトル空間にマッピングするためのグラフ埋め込み技術の体系的かつ包括的理解を提供すること。
• ノード分類、リンク予測、コミュニティ検出といった下流タスクにおけるグラフ埋め込みの性能を評価すること。
• ノード表現における不確実性の定量化を目的とした多変量ガウス分布を用いた新しい確率的グラフ埋め込み手法の導入と検証。
• 研究者が手法を再現・拡張できるように、実装ガイド、オープンソースリファレンス、アクセス可能なデータセットを提供すること。

提案手法

• ローカルおよびグローバルなグラフ構造をスキップグラムモデルによって保持するノードシーケンスを生成する、DeepWalk や node2vec などのランダムウォークベース手法を採用。
• GraphSAGE や G2G（Graph-to-Gaussian）などのニューラルネットワークベースのモデルを適用し、教師なしの目的関数で訓練される深層エンコーダー・アーキテクチャを介してノード埋め込みを学習。
• G2Gモデルの学習には、Adam最適化手法を用いた平方指数損失関数を採用し、各ノードの多変量ガウス分布の平均および共分散を同時に学習。
• 高次元埋め込みを2次元空間に可視化するための次元削減にt-SNEを適用し、ノードの位置と不確実性を確率的楕円で表現。
• 学習済み埋め込みを用いて、KLダイバージェンスに基づくエネルギースコアとロジスティック回帰を用いた交差検証によるリンク予測とノード分類を実施。
• 一般化性能の評価とデータ漏洩の回避のため、CORA-MLグラフを学習・検証・テストに10%ずつに分割。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォークベースおよびニューラルネットワークベースのグラフ埋め込み手法は、どのように複雑なネットワークの構造的性質を低次元空間に保持するか？
• RQ2 ガウス分布による不確実性推定をグラフ埋め込みに組み込むと、下流タスクにどのような影響を与えるか？
• RQ3 大規模ネットワークにおいて、グラフ埋め込みは、従来の手作業によるトポロジカル特徴量と比較して、性能とスケーラビリティの点でどのように差をつけるか？
• RQ4 学習済みグラフ埋め込みは、ベースライン手法と比較して、ノード分類およびリンク予測タスクの性能をどの程度向上させるか？
• RQ5 G2Gモデルは、ノード表現と不確実性の両方を効果的に捉えることができるか？また、CORA-MLのような実世界の属性付きネットワークにおいて、どのように性能を発揮するか？

主な発見

• G2Gモデルは、CORA-MLデータセットのリンク予測タスクにおいてAUC 0.93、平均適合度（average precision）0.87を達成し、実世界の引用ネットワークにおける優れた一般化性能を示した。
• 10分割交差検証を経て、学習済みガウス埋め込みの平均ベクトルを用いたノード分類では、F1-macroスコア0.85、F1-microスコア0.88を達成した。
• t-SNEによる埋め込み可視化から、ノードがクラスごとに明確にクラスタリングされていることが確認され、学習済み表現が意味的および構造的類似性を効果的に捉えていることが示された。
• 共分散行列を介した不確実性を考慮した埋め込みにより、確率的楕円を用いて予測の信頼性を可視化でき、ノード表現の解釈性が向上した。
• 提案された確率的埋め込みフレームワークは、不確実性を考慮したタスクにおいて、従来の決定的埋め込みを上回る性能を示し、ノード特徴における分布的不確実性のモデル化の価値を裏付けた。
• 2,995ノード、8,416エッジ、ノード属性次元数2,879の大きなグラフでも、記憶容量や実行時間に著しいコストを要せず、スケーラビリティを効果的に発揮した。