[論文レビュー] A Framework for Generalizing Graph-based Representation Learning Methods

Nesreen K. Ahmed, Ryan A. Rossi+5 more|arXiv (Cornell University)|Sep 14, 2017

Advanced Graph Neural Networks参考文献 47被引用数 16

ひとこと要約

本論文は、ノード属性から導出されるタイプベースのランダムウォークにノードID依存のランダムウォークを置き換えることで、グラフベースの表現学習を一般化するフレームワークを提案する。ノードそのものではなくノードタイプの埋め込みを学習することにより、帰納的でメモリ効率が高く、転移可能な表現が可能となり、従来手法と比較して平均AUCを16.1%向上させるとともに、メモリ使用量を853倍削減した。

ABSTRACT

Random walks are at the heart of many existing deep learning algorithms for graph data. However, such algorithms have many limitations that arise from the use of random walks, e.g., the features resulting from these methods are unable to transfer to new nodes and graphs as they are tied to node identity. In this work, we introduce the notion of attributed random walks which serves as a basis for generalizing existing methods such as DeepWalk, node2vec, and many others that leverage random walks. Our proposed framework enables these methods to be more widely applicable for both transductive and inductive learning as well as for use on graphs with attributes (if available). This is achieved by learning functions that generalize to new nodes and graphs. We show that our proposed framework is effective with an average AUC improvement of 16.1% while requiring on average 853 times less space than existing methods on a variety of graphs from several domains.

研究の動機と目的

• 既存のランダムウォークベースのグラフ表現学習手法には、帰納的でなく、未観測のノードやグラフに一般化できないという限界があることに対処すること。
• ノードIDから表現学習を分離することで、タイプベースの抽象化を用いて帰納的表現学習を可能にすること。
• ノード特徴をランダムウォークプロセスに統合することで、属性付きグラフをサポートし、モデルの柔軟性と適用範囲を拡大すること。
• 個々のノードではなくタイプの埋め込みを学習することで、大幅なメモリ使用量の削減を実現し、大規模グラフへのスケーラビリティを向上させること。
• DeepWalk や node2vec といった既存手法を統一的かつ一般化するフレームワークを提供し、転移学習と属性付きデータをサポートすること。

提案手法

• ノード属性ベクトルを離散的なタイプに写像する関数 Φ を導入し、ノードベースのランダムウォークの代わりにタイプベースのランダムウォークを実現する。
• ノードの列ではなく、ウォーク中に訪問したタイプの列を記録することで、属性付きランダムウォークを構築する。
• 単語ベクトル学習のword2vecに類似したスキップグラムモデルを用いて、各タイプの低次元埋め込みを学習する。
• 学習済みのタイプ埋め込みを用いて、各ノードの属性を対応するタイプ埋め込みにマッピングすることで、帰納的ノード表現を生成する。
• ノードIDから表現学習を分離することで、従来的および帰納的学習の両方をサポートする。
• 入力属性が利用できない場合でも、グラフ構造からノード属性を導出することで、広範な適用可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォークベースのグラフ表現学習は、帰納的学習と複数のグラフ間での転移学習をサポートするように一般化可能か？
• RQ2 ノード属性をランダムウォークプロセスに統合することで、一般化性と表現品質をどのように向上できるか？
• RQ3 ノードレベルの埋め込みと比較して、タイプベースの埋め込みはどれほどメモリ使用量を削減できるか？ また、パフォーマンスは維持または向上するか？
• RQ4 提案されたフレームワークは、DeepWalk や node2vec といった既存手法を一般化し、属性付きグラフおよび未観測ノードをサポートできるか？
• RQ5 構造的・属性的要因の異なる多様な実世界のグラフデータセットにおいて、本フレームワークは頑健でかつ有効か？

主な発見

• 提案フレームワークは、複数のグラフデータセットにおいて、ベースライン手法と比較して平均で16.1%のAUC向上を達成した。
• ノードレベルの埋め込み手法と比較して、平均で853倍のメモリ使用量削減を実現し、大規模グラフへのスケーラビリティを可能にした。
• 本フレームワークは帰納的学習をサポートしており、以前に観測されていなかったノードやグラフに対しても埋め込みを生成可能である。
• ノード特徴をランダムウォークプロセスに統合することで、自然に属性付きグラフをサポートし、モデルの表現力が向上した。
• DeepWalk や node2vec といった既存手法を一般化し、各ノードが自身のタイプである場合の特殊ケースとして回復できる。
• 転移学習タスク（例：ネットワーク間リンク予測や分類）において、パフォーマンスを維持または向上させながら、効果的に機能した。