[論文レビュー] Learning Representations of Graph Data -- A Survey

Mital Kinderkhedia|arXiv (Cornell University)|Jun 7, 2019

Advanced Graph Neural Networks参考文献 111被引用数 10

ひとこと要約

本サーベイは、グラフ構造データの表現学習のための手法を包括的に分類し、5つの主要なアプローチに分類する：カーネル、畳み込み、GNN、グラフ埋め込み、確率的モデル。これらの手法のコア技術をレビューし、強みと限界を比較し、分子構造、ソーシャルネットワーク、時系列グラフなどの複雑なグラフを表現する上で残された課題を特定する。

ABSTRACT

Deep Neural Networks have shown tremendous success in the area of object recognition, image classification and natural language processing. However, designing optimal Neural Network architectures that can learn and output arbitrary graphs is an ongoing research problem. The objective of this survey is to summarize and discuss the latest advances in methods to Learn Representations of Graph Data. We start by identifying commonly used types of graph data and review basics of graph theory. This is followed by a discussion of the relationships between graph kernel methods and neural networks. Next we identify the major approaches used for learning representations of graph data namely: Kernel approaches, Convolutional approaches, Graph neural networks approaches, Graph embedding approaches and Probabilistic approaches. A variety of methods under each of the approaches are discussed and the survey is concluded with a brief discussion of the future of learning representation of graph data.

研究の動機と目的

• グラフ構造データの表現学習の主要なアプローチを体系的に分類すること。
• カーネル、畳み込み、GNN、埋め込み、確率的アプローチの5つのカテゴリにまたがる主要な手法を特定・比較すること。
• 重み付き、有向、時系列グラフなどの複雑なグラフタイプの表現における課題を強調すること。
• グラフデータにおける下流の機械学習タスクに適した手法の選定を研究者に支援すること。
• グラフ表現学習分野における未解決問題と今後の研究方向性を提示すること。

提案手法

• グラフ表現学習を5つの主要なアプローチに分類する：カーネル、畳み込み、GNN、埋め込み、確率的モデル。
• 基礎的なグラフ理論と、ニューラルネットワークが複雑なグラフ関数を近似する役割をレビューする。
• 変分推論とオートエンコーダーに基づくモデル（VAEやGVAE）を分析し、SMILESとパースツリーを用いて有効な分子構造を生成する。
• ニューラルネットワークを用いて、ノード追加やエッジ追加といった逐次的アクションによってグラフを生成するグラフ生成モデルを議論する。
• マルコフ確率的場とループ付き信念伝播を用いた確率的モデルが、事後分布に基づく表現を導出する方法を検討する。
• 生成モデルの学習に変分下界の利用を紹介し、目的関数として $\mathcal{L} = \mathbb{E}_q[\log p(A|Z)] - \mathcal{KL}[q(Z|X,A) \| p(Z)]$ を提示する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造データの表現学習のための支配的となる手法ファミリーは何か？
• RQ2 カーネルベース、畳み込み、GNN、埋め込み、確率的アプローチは、設計や性能においてどのように異なるか？
• RQ3 深層生成モデルを用いて有効で構造的なグラフを生成する際の主な課題は何か？
• RQ4 確率的モデルは、どのようにしてグラフ表現における関係的・トポロジカル構造を効果的に符号化できるか？
• RQ5 重み付き、有向、時系列グラフを表現学習技術を用いて表現する際の未解決問題は何か？

主な発見

• グラフ表現学習は、頂点、部分グラフ、または全体のグラフを、トポロジカルおよび幾何的構造を保持する低次元ベクトル空間にマッピングすることを可能にする。
• カーネル法とGNNは関係的パターンを効果的に捉えるが、インダクティブバイアスとスケーラビリティの点で異なる。
• VAEやGVAEを用いたグラフオートエンコーダーは、分子化合物の有効なSMILES文字列を生成できるが、化学的妥当性を保つためには文法に基づくデコードなどの追加制約が必要となる。
• ノード追加やエッジ追加といった逐次的アクションでグラフを生成するニューラル生成モデルは柔軟性に優れるが、スケーラビリティとノード順序の問題に直面する。
• マルコフ確率的場と変分推論に基づく確率的モデルは、グラフ構造データから意味のある事後分布表現を導出できる。
• 進展は見られるものの、非ユークリッドドメイン、有向グラフ、時系列モチーフの表現学習における課題は依然として残っており、活発な研究のフロンティアである。