[論文レビュー] Representation Learning in Large Attributed Graphs.

Nesreen K. Ahmed, Ryan A. Rossi+5 more|arXiv (Cornell University)|Oct 25, 2017

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本論文は、ノードの識別子に依存せず、ノード属性を埋め込みベクトルにマッピングする属性付きランダムウォークを用いて、大規模な属性付きグラフにおける表現学習の一般化フレームワークを提案する。関数 Φ: x → w を学習することで、ノード属性ベクトルを埋め込みベクトルに変換し、帰納的かつ空間効率の良い学習を可能にし、属性付きグラフの表現学習を実現する。これは、DeepWalk や node2vec のような従来の非帰納的かつ識別子依存の手法が抱える主な限界を克服する。

ABSTRACT

Graphs (networks) are ubiquitous and allow us to model entities (nodes) and the dependencies (edges) between them. Learning a useful feature representation from graph data lies at the heart and success of many machine learning tasks such as classification, anomaly detection, link prediction, among many others. Many existing techniques use random walks as a basis for learning features or estimating the parameters of a graph model for a downstream prediction task. Examples include recent node embedding methods such as DeepWalk, node2vec, as well as graph-based deep learning algorithms. However, the simple random walk used by these methods is fundamentally tied to the identity of the node. This has three main disadvantages. First, these approaches are inherently transductive and do not generalize to unseen nodes and other graphs. Second, they are not space-efficient as a feature vector is learned for each node which is impractical for large graphs. Third, most of these approaches lack support for attributed graphs. To make these methods more generally applicable, we propose a framework based on the notion of attributed random walk that is not tied to node identity and is instead based on learning a function $\Phi : \mathrm{ m \bf x} ightarrow w$ that maps a node attribute vector $\mathrm{ m \bf x}$ to a type $w$. This framework serves as a basis for generalizing existing methods such as DeepWalk, node2vec, and many other previous methods that leverage traditional random walks.

研究の動機と目的

• 既存のランダムウォークベースの手法が非帰納的で大規模グラフにスケーラブルでないという限界を解消すること。
• ノードごとに固有の埋め込みを学習する非効率性を解消するため、関数に基づくアプローチを導入し、ノード間で一般化を実現すること。
• 接続性以外の豊富な特徴情報を備えたノードを有する属性付きグラフにおける表現学習を可能にすること。
• DeepWalk や node2vec のような既存手法を、帰納的かつ未観測のノードやグラフに適用可能な形に一般化すること。
• パラメータ化された関数 Φ を用いて、ノード属性から直接埋め込みを学習する空間効率の良いフレームワークを開発すること。

提案手法

• ノード識別子に依存せず、ノード属性ベクトルに依存する属性付きランダムウォークに基づくフレームワークを提案する。
• ノードの属性ベクトル x を低次元埋め込みベクトル w にマッピングする関数 Φ: x → w を定義する。
• この関数を用いて、ノード識別子ではなく属性の類似度に従って遷移が決定されるランダムウォークを生成する。
• ノード2vec と同様に、ネガティブサンプリングを用いたスキップグラムを用いて、関数 Φ をエンドツーエンドで学習する。
• 新しいノードの属性に基づいて、モデルが未学習のノードの埋め込みを生成できるように、帰納的学習を可能にする。
• ノード特徴をウォーク生成および埋め込みプロセスに統合することで、属性付きグラフをサポートする。

実験結果

リサーチクエスチョン

• RQ1 属性付きグラフにおける表現学習を帰納的に行うことは可能か？　これにより、新しいノードの再トレーニングを回避できるか？
• RQ2 ランダムウォークベースの手法をノード識別子に依存せずに、ノード属性を活用する形に一般化できるか？
• RQ3 学習された関数 Φ: x → w が、大規模グラフにおけるスケーラビリティと空間効率をどの程度向上できるか？
• RQ4 提案されたフレームワークは、ノード分類やリンク予測といった下流タスクにおいて、性能を維持または向上できるか？
• RQ5 一般化性と効率性の観点から、従来の識別子依存のランダムウォークと比較して、属性付きランダムウォークフレームワークはどのように異なるか？

主な発見

• 提案されたフレームワークにより、再トレーニングなしに未観測ノードの埋め込みを生成できる帰納的表現学習が実現された。
• 関数 Φ: x → w を学習することで、ノードごとの固有の埋め込みを保存する必要がなくなるため、空間効率が向上した。
• ノード識別子依存を属性ベースのウォーク生成に置き換えることで、DeepWalk や node2vec のような既存手法が一般化された。
• ノード特徴を活用できるため、より豊かな表現学習が可能になった。
• スキップグラムとネガティブサンプリングの互換性を維持したため、下流タスクにおいて優れた性能を発揮した。
• このフレームワークは、大規模で属性付きかつ帰納的なグラフ表現学習の文脈において、ランダムウォークベース手法を統一的に拡張する基盤を提供する。