[論文レビュー] A Survey of Pretraining on Graphs: Taxonomy, Methods, and Applications

Jun Xia, Yanqiao Zhu+2 more|arXiv (Cornell University)|Feb 16, 2022

Advanced Graph Neural Networks被引用数 27

ひとこと要約

このサーベイは歴史、アーキテクチャ、事前学習戦略、チューニング戦略、応用分野を横断して事前学習グラフモデル（PGMs）を分類し、今後の研究方向を概説します。

ABSTRACT

Pretrained Language Models (PLMs) such as BERT have revolutionized the landscape of Natural Language Processing (NLP). Inspired by their proliferation, tremendous efforts have been devoted to Pretrained Graph Models (PGMs). Owing to the powerful model architectures of PGMs, abundant knowledge from massive labeled and unlabeled graph data can be captured. The knowledge implicitly encoded in model parameters can benefit various downstream tasks and help to alleviate several fundamental issues of learning on graphs. In this paper, we provide the first comprehensive survey for PGMs. We firstly present the limitations of graph representation learning and thus introduce the motivation for graph pre-training. Then, we systematically categorize existing PGMs based on a taxonomy from four different perspectives. Next, we present the applications of PGMs in social recommendation and drug discovery. Finally, we outline several promising research directions that can serve as a guideline for future research.

研究の動機と目的

• 動機: グラフ表現学習はラベル付きデータの不足と分布外一般化の課題に直面している。
• 目的: 研究者と実務家を導くPGMsの総合的な統合を提供する。
• アプローチ: 歴史、モデルアーキテクチャ、事前学習戦略、チューニング戦略、応用を跨ぐ分類法を提案する。
• 成果: 有望な研究方向とPGMsの潜在的拡張を概説する。

提案手法

• PGMsの五次元分類法を提案: 歴史、アーキテクチャ、事前学習戦略、チューニング戦略、応用。
• 第一世代および第二世代のGNN/Transformerハイブリッドを含むグラフ事前学習の世代をレビュー。
• 監視学習および自己教師あり事前学習タスク、知識強化および拡張手法をカバー。
• 微調整やマルチタスク微調整などのチューニング戦略を論じる。
• 拡張と知識強化アプローチを概説し、今後の研究の方向性を示す。

実験結果

リサーチクエスチョン

• RQ1 グラフ事前学習における核心的な歴史的マイルストーンとアーキテクチャ的パラダイムは何か？
• RQ2 PGMsに用いられる事前学習およびチューニング戦略は何で、タスクやアーキテクチャによってどう異なるか？
• RQ3 どの応用分野がグラフ事前学習の恩恵を受け、今後どの方向性が有望か？

主な発見

• PGMsは初期のグラフィカル埋め込みから、GNNとTransformersを組み合わせた多様なアーキテクチャへと進化してきた。
• 監督付き、自己教師付き、知識強化のタスクのスペクトルと、微調整、マルチタスク微調整などのチューニング戦略が存在する。
• 知識強化と拡張は活発な研究領域で、下流タスクへの転送性能を高める。
• 応用分野は創薬、性質予測、社会科学、化学など多岐にわたり、広い有用性を示している。
• 本サーベイはPGMsの今後の研究を導く構造化された分類法と総合を提供する。