[論文レビュー] Deep Learning on Graphs: A Survey

Ziwei Zhang, Peng Cui+1 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Graph Neural Networks参考文献 170被引用数 168

ひとこと要約

グラフ上の深層学習手法を五つのアーキテクチャに分類し、その差異を分析し、適用例と今後の方向性を概説する包括的な調査。

ABSTRACT

Deep learning has been shown to be successful in a number of domains, ranging from acoustics, images, to natural language processing. However, applying deep learning to the ubiquitous graph data is non-trivial because of the unique characteristics of graphs. Recently, substantial research efforts have been devoted to applying deep learning methods to graphs, resulting in beneficial advances in graph analysis techniques. In this survey, we comprehensively review the different types of deep learning methods on graphs. We divide the existing methods into five categories based on their model architectures and training strategies: graph recurrent neural networks, graph convolutional networks, graph autoencoders, graph reinforcement learning, and graph adversarial methods. We then provide a comprehensive overview of these methods in a systematic manner mainly by following their development history. We also analyze the differences and compositions of different methods. Finally, we briefly outline the applications in which they have been used and discuss potential future research directions.

研究の動機と目的

• グラフ上の深層学習の研究動機と、グラフデータがもつ不規則な構造、異質性、スケール、学際的知識といった課題に対処する。
• モデルアーキテクチャとトレーニング戦略ごとに整理された、既存のグラフベース深層学習手法の体系的なレビューを提供する。
• Graph RNNs、GCNs、GAEs、Graph RL、および graph adversarial methods の関係と構成を明確にする。
• グラフベースの深層学習における応用、ライブラリ、潜在的な今後の研究方向について論じる。

提案手法

• 既存の手法を、アーキテクチャとトレーニング戦略に基づいて五つのカテゴリーに分割する：Graph RNNs、Graph Convolutional Networks、Graph Autoencoders、Graph Reinforcement Learning、Graph Adversarial Methods。
• 各カテゴリーの発展をおおよそ歴史的な順序で検討し、進展とつながりを浮かび上がらせる。
• 手法間の差異と組み合わせを分析し、根本的な統一原理を明らかにする。
• 応用の概要を提供し、将来の研究方向と潜在的なライブラリについて議論する。
• コードリポジトリと時間計算量分析を含む付録などの補足資料を含む。

実験結果

リサーチクエスチョン

• RQ1 グラフ上で用いられる主な深層学習アーキテクチャは何で、概念的・計算的にはどう異なるか？
• RQ2 異なるグラフベースモデルは、より広いグラフタスクを解決するためにどのように関連づけられたり、組み合わせられたりできるか？
• RQ3 グラフデータに深層学習を適用する際の主な課題は何で、手法はそれにどう対処してきたか？
• RQ4 グラフベースの深層学習の一般的な応用と今後の方向性は何か？

主な発見

• 本調査は、グラフベース深層学習手法の五つの中心的カテゴリを特定する：Graph RNNs、GCNs、GAEs、Graph RL、および graph adversarial methods。
• これらの手法の進化とつながりを分析し、多くのGNNが再帰的フレームワークに関連し、スペクトルと空間アプローチが収束することを浮き彫りにする。
• 大規模グラフや異種グラフタイプに対処するためのスケーラビリティの課題とアーキテクチャ的解決策を論じる。
• グラフデータの学際的性質と、ドメイン知識がモデル設計と制約にどのように影響するかを指摘する。
• 応用の概要を提供し、公開ライブラリと今後の研究方向を示す。