[論文レビュー] A Comprehensive Survey on Deep Graph Representation Learning

Wei Ju, Zheng Fang+14 more|arXiv (Cornell University)|Apr 11, 2023

Advanced Graph Neural Networks参考文献 563被引用数 14

ひとこと要約

深層グラフ表現学習の体系的分類と総合的レビューで、GNN architectures、learning paradigms、applications をカバーします。

ABSTRACT

Graph representation learning aims to effectively encode high-dimensional sparse graph-structured data into low-dimensional dense vectors, which is a fundamental task that has been widely studied in a range of fields, including machine learning and data mining. Classic graph embedding methods follow the basic idea that the embedding vectors of interconnected nodes in the graph can still maintain a relatively close distance, thereby preserving the structural information between the nodes in the graph. However, this is sub-optimal due to: (i) traditional methods have limited model capacity which limits the learning performance; (ii) existing techniques typically rely on unsupervised learning strategies and fail to couple with the latest learning paradigms; (iii) representation learning and downstream tasks are dependent on each other which should be jointly enhanced. With the remarkable success of deep learning, deep graph representation learning has shown great potential and advantages over shallow (traditional) methods, there exist a large number of deep graph representation learning techniques have been proposed in the past decade, especially graph neural networks. In this survey, we conduct a comprehensive survey on current deep graph representation learning algorithms by proposing a new taxonomy of existing state-of-the-art literature. Specifically, we systematically summarize the essential components of graph representation learning and categorize existing approaches by the ways of graph neural network architectures and the most recent advanced learning paradigms. Moreover, this survey also provides the practical and promising applications of deep graph representation learning. Last but not least, we state new perspectives and suggest challenging directions which deserve further investigations in the future.

研究の動機と目的

• GNN architecturesとlearning paradigmsに基づいて整理された深層グラフ表現学習手法の分類体系を提供する。
• 各カテゴリ内の重要な要素と代表的なアルゴリズムを要約する。
• 実用的なアプリケーションを強調し、課題、制約、および今後の方向性を議論する。

提案手法

• graph neural network architectures (graph convolutions, graph kernel neural networks, graph pooling, graph transformers) によってグラフ表現学習アプローチを分類する。
• supervised/semi-supervised、self-supervised、および graph structure learning を含む learning paradigms を検討する。
• 各カテゴリの代表的なアルゴリズムを議論し、その特徴を要約する。
• social analysis、molecular property prediction and generation、recommender systems、そして traffic analysis における応用を提示する。
• 今後の方向性と未解決の課題への洞察を提供する。

Figure 1. The architecture of this paper.

実験結果

リサーチクエスチョン

• RQ1 深層グラフ表現学習で用いられる主な GNN architectures とその主要操作は何ですか？
• RQ2 異なる learning paradigms（supervised/semi-supervised、self-supervised、structure learning）はグラフ表現にどのように影響しますか？
• RQ3 深層グラフ表現から最も恩恵を受ける現在のアプリケーションは何で、どのような課題が残っていますか？
• RQ4 深層グラフ表現学習を進展させる上で、今後の方向性とオープンな問題で最も有望なものは何ですか？

主な発見

• GNN architecturesとlearning paradigmsに基づく深層グラフ表現学習手法の新しい分類体系を提供する。
• 各分岐における重要な要素と代表的なアルゴリズムの総合的なレビューを提供する。
• social analysis、molecular property prediction and generation、recommender systems、および traffic analysis などの有望なアプリケーションを議論する。
• 将来の研究における制限と困難な方向性を特定する。