[論文レビュー] Deep Feature Learning for Graphs

Ryan A. Rossi, Rong Zhou+1 more|arXiv (Cornell University)|Apr 28, 2017

Advanced Graph Neural Networks参考文献 20被引用数 29

ひとこと要約

この論文では、大規模な属性付きグラフにおける深く階層的で解釈可能なノードおよびエッジ表現を学習するスケーラブルでメモリ効率の良いフレームワーク、DeepGLを紹介する。学習された関係的関数を通じて、基本特徴（例：グラフレット）を段階的に合成することで、最先端の手法と比較して最大182倍の高速化と6倍のメモリ削減を達成し、ノード分類や転移学習などの主要タスクで20%以上の精度向上を実現する。

ABSTRACT

This paper presents a general graph representation learning framework called DeepGL for learning deep node and edge representations from large (attributed) graphs. In particular, DeepGL begins by deriving a set of base features (e.g., graphlet features) and automatically learns a multi-layered hierarchical graph representation where each successive layer leverages the output from the previous layer to learn features of a higher-order. Contrary to previous work, DeepGL learns relational functions (each representing a feature) that generalize across-networks and therefore useful for graph-based transfer learning tasks. Moreover, DeepGL naturally supports attributed graphs, learns interpretable features, and is space-efficient (by learning sparse feature vectors). In addition, DeepGL is expressive, flexible with many interchangeable components, efficient with a time complexity of $\mathcal{O}(|E|)$, and scalable for large networks via an efficient parallel implementation. Compared with the state-of-the-art method, DeepGL is (1) effective for across-network transfer learning tasks and attributed graph representation learning, (2) space-efficient requiring up to 6x less memory, (3) fast with up to 182x speedup in runtime performance, and (4) accurate with an average improvement of 20% or more on many learning tasks.

研究の動機と目的

• 既存のグラフ表現学習手法の限界、すなわち密度が高く一般化不能で解釈不能な特徴を改善すること。
• 異なるグラフに一般化可能な関係的関数を学習することで、ネットワーク間を跨ぐ効果的な転移学習を可能にすること。
• 属性付きグラフをサポートし、大規模ネットワーク向けに空間効率的でスパースな特徴ベクトルを学習すること。
• 線形時間計算量と並列実装により、高い効率性とスケーラビリティを達成すること。
• 高階の部分グラフ構造を捉える解釈可能で階層的な表現を提供すること。

提案手法

• DeepGLは、グラフ構造、属性、または両方から導かれる基本特徴（例：グラフレット特徴）から出発する。
• 下位の特徴から上位の特徴を段階的・階層的に合成するための、学習された関係的特徴演算子の集合を適用する。
• 各層は直前の層に基づき、合成的関係的関数を用いて構築され、重複しない新規情報が追加される場合にのみ特徴を保持する。
• メモリ使用量を削減するために、ログビン化とスパースベクトル符号化を採用し、1特徴値あたりわずか1〜2バイトのメモリで済ませる。
• O(|E|)の計算量を持つ並列で線形時間のアルゴリズムを採用し、数百万ノードを含むグラフへのスケーラビリティを実現する。
• ノードおよびエッジ表現学習を両方サポートし、異なるグラフタイプやタスクに柔軟に適応可能な交換可能なコンponentsを備える。

実験結果

リサーチクエスチョン

• RQ1 深層グラフ表現学習フレームワークは、異なるネットワークに跨る関係的関数を一般化することで、効果的な転移学習を可能にできるか？
• RQ2 高階の構造的パターンを捉えると同時に、空間効率的かつ解釈可能なグラフ表現をどのように実現できるか？
• RQ3 スパースで階層的な特徴を学習する際、密度の高い実数値埋め込みと比較して、実行時間とメモリ効率にどの程度の向上が得られるか？
• RQ4 このようなフレームワークは、数百万ノードを有する大規模な属性付きグラフにどの程度スケーリング可能か？
• RQ5 特徴の階層的合成が、下流の機械学習タスクにおける精度にどのように寄与するか？

主な発見

• DeepGLは、node2vecなどの最先端手法と比較して、最大6倍のメモリ使用量削減を達成し、ノード特徴の密度が0.162〜0.334、エッジ特徴が0.164〜0.318にまで低下する。
• 1000万ノードのErdös-Rényiグラフにおいて、DeepGLは15分で処理を完了する一方で、node2vecは1.8日を要するため、182倍の高速化を達成する。
• DeepGLのノード表現は、denseな埋め込みと比較して著しくスパースである。1000万ノードの128次元特徴に対して、DeepGLは0.768 GBのメモリで処理可能であるのに対し、node2vecでは10.2 GBを要する。
• DeepGLは、ノード分類やリンク予測を含む複数のタスクで、平均して20%以上の精度向上を達成する。
• フレームワークは優れた並列スケーリングを示し、コア数の増加に伴い性能が線形に向上する。特にエッジ表現学習において顕著である。
• 学習された特徴は解釈可能であり、各特徴が関係的関数の合成に対応しており、異なるグラフ間でトレース可能で説明可能である。