[論文レビュー] Representation Learning on Graphs: Methods and Applications

William L. Hamilton, Rex Ying+1 more|arXiv (Cornell University)|Sep 17, 2017

Advanced Graph Neural Networks被引用数 298

ひとこと要約

グラフ表現学習の包括的な調査で、ノードとサブグラフの埋め込みをエンコーダ–デコーダ手法の下で統合し、浅い、深い、近傍集約法を詳述する。

ABSTRACT

Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. The primary challenge in this domain is finding a way to represent, or encode, graph structure so that it can be easily exploited by machine learning models. Traditionally, machine learning approaches relied on user-defined heuristics to extract features encoding structural information about a graph (e.g., degree statistics or kernel functions). However, recent years have seen a surge in approaches that automatically learn to encode graph structure into low-dimensional embeddings, using techniques based on deep learning and nonlinear dimensionality reduction. Here we provide a conceptual review of key advancements in this area of representation learning on graphs, including matrix factorization-based methods, random-walk based algorithms, and graph neural networks. We review methods to embed individual nodes as well as approaches to embed entire (sub)graphs. In doing so, we develop a unified framework to describe these recent approaches, and we highlight a number of important applications and directions for future work.

研究の動機と目的

• グラフ構造を低次元の埋め込みにエンコードして下流タスクに活用するというコア問題を説明する。
• 共通のエンコーダ–デコーダフレームワークの下で多様なグラフ埋め込みアプローチを統合する。
• 大規模グラフに対するスケーラブルな手法をレビューし、ノードおよびサブグラフ表現とそれらの適用を論じる。
• グラフ表現学習の限界・応用・今後の方向性を強調する。

提案手法

• ノード埋め込みのための統一されたエンコーダ–デコーダフレームワークを導入する。
• 埋め込みからグラフ構造を再構成するための汎用的なペアワイズデコーダとグラフベースの類似度目的関数を定義する。
• 方法を浅い埋め込み（行列因数分解とランダムウォーク）と一般化されたエンコーダアーキテクチャに分類する。
• ノード属性と局所的近傍を用いる近傍集約/畳み込みエンコーダを論じる。
• 大規模グラフの最適化戦略と実用的考慮事項に対処する。

実験結果

リサーチクエスチョン

• RQ1 グラフのトポロジーとノードの役割を保持する低次元埋め込みにグラフ構造をどのようにエンコードできるか？
• RQ2 ノード埋め込み手法の主な系は何で、エンコーダ/デコーダの選択と損失関数の点でどのように異なるか？
• RQ3 浅い埋め込みを超えて動的で大規模、または属性付きグラフに対応するにはどうすればよいか？
• RQ4 実務上、一階近傍表現と高次近傍表現のトレードオフは何か？
• RQ5 今後の研究のためのグラフ表現学習における主要な方向性と限界は何か？

主な発見

• エンコーダ、デコーダ、類似度尺度、損失に基づいてノード埋め込み手法を分類する統一的なエンコーダ–デコーダの視点が存在する。
• 浅い埋め込みは行列因数分解またはランダムウォークに依存し、 大規模グラフにスケールできるが、転導的な限界がある。
• ランダムウォークベースの手法（DeepWalk、node2vec）は、コミュニティ構造や構造的役割を捉えるためにバイアスのかかったウォークを利用する。
• 一般化エンコーダアーキテクチャ（近傍集約/畳み込みエンコーダ）と深層モデルは、ノード属性とグラフの局所性を取り入れることで浅い手法の制約に対処する。
• 近傍集約法は帰納的表現学習を可能にし、見たことのないノードや進化するグラフの埋め込みを可能にする。
• 共通のフレームワークは、一見異なる手法を比較するのに役立ち、スケーラビリティと適用性に関する実用的考慮事項を浮き彫りにする。