[論文レビュー] Graph-Bert: Only Attention is Needed for Learning Graph Representations

Jiawei Zhang, Haopeng Zhang+2 more|arXiv (Cornell University)|Jan 15, 2020

Advanced Graph Neural Networks参考文献 28被引用数 154

ひとこと要約

Graph-Bert は、リンクなしサブグラフのみに注意機構を用いて訓練するグラフニューラルネットワークで、自己教師付き前学習とタスク固有の微調整を通じてノード分類やグラフクラスタリングなどのタスクを実現し、ベンチマークデータセットで強力な結果を示す。

ABSTRACT

The dominant graph neural networks (GNNs) over-rely on the graph links, several serious performance problems with which have been witnessed already, e.g., suspended animation problem and over-smoothing problem. What's more, the inherently inter-connected nature precludes parallelization within the graph, which becomes critical for large-sized graph, as memory constraints limit batching across the nodes. In this paper, we will introduce a new graph neural network, namely GRAPH-BERT (Graph based BERT), solely based on the attention mechanism without any graph convolution or aggregation operators. Instead of feeding GRAPH-BERT with the complete large input graph, we propose to train GRAPH-BERT with sampled linkless subgraphs within their local contexts. GRAPH-BERT can be learned effectively in a standalone mode. Meanwhile, a pre-trained GRAPH-BERT can also be transferred to other application tasks directly or with necessary fine-tuning if any supervised label information or certain application oriented objective is available. We have tested the effectiveness of GRAPH-BERT on several graph benchmark datasets. Based the pre-trained GRAPH-BERT with the node attribute reconstruction and structure recovery tasks, we further fine-tune GRAPH-BERT on node classification and graph clustering tasks specifically. The experimental results have demonstrated that GRAPH-BERT can out-perform the existing GNNs in both the learning effectiveness and efficiency.

研究の動機と目的

• 従来のグラフリンクに依存する GNN が抱える非効率性と問題点（例：停止現象やオーバーソーリング）を解消する。
• グラフ畳み込みを用いず、サンプリングされたリンクレスサブグラフを用いて訓練するトランスフォーマーベースの GNN、“Graph-Bert” を提案する。
• ノード属性再構成とグラフ構造回復を通じた自己教師付き前学習を実現し、その後タスク固有の微調整と転移を行う。
• 事前学習済みの Graph-Bert が関連タスクや逐次モデルへ転移可能であり、学習効率と有効性を向上させることを示す。

提案手法

• リンクレスサブグラフバッチ処理、ノード入力埋め込み、グラフトランスフォーマー型エンコーダ、表現融合、タスク固有の機能部からなる五つの構成要素を持つ Graph-Bert アーキテクチャを導入。
• PageRank に基づく親密度マトリクスを用いたトップ-k 系の親密性サンプリングによって定義されたサブグラフを学習コンテキストとして使用する。
• 原始特徴量の集約、WL絶対的役割埋め込み、親密性ベースの相対的位置埋め込み、ホップベースの相対距離埋め込みを用いてノード入力ベクトルを計算する。
• マルチレイヤーの注意機構を持つグラフトランスフォーマーエンコーダと、各サブグラフ内で情報を伝搬させるグラフ残差項を用いてこれらの埋め込みを処理する。
• ノード属性再構成とグラフ構造回復の二つのタスクで事前学習を行い、その後ノード分類またはグラフクラスタリングのために微調整する。

実験結果

リサーチクエスチョン

• RQ1 Graph-Bert はグラフのエッジ接続性に依らず意味のあるグラフ表現を学習できるのか。
• RQ2 リンクレスサブグラフバッチと注意ベースのエンコーディングは、エッジベースの GNN と比較して標準ベンチマークで競争力のある、あるいは上回る性能を達成するのか。
• RQ3 自己教師付き前学習タスク（ノード属性再構成と構造回復）は下流グラフタスクに対してどれだけ有効か。
• RQ4 Graph-Bert は完全な再学習なしに関連タスクや逐次モデルへどの程度転移できるのか。

主な発見

• Graph-Bert は Cora、Citeseer、PubMed データセットのノード分類で複数のベースラインを上回る（Cora での最良報告は 0.843）。
• Citeseer および PubMed でのノード分類性能は競争力があり、報告結果ではそれぞれ 0.712 と 0.793 を達成。
• ノード属性再構成と構造回復による事前学習は収束が速く、下流タスクへの効果的な微調整をサポート。
• Graph-Bert は停止現象を起こさず非常に深いアーキテクチャをサポートし、最大 50 層までの学習に成功。
• サブグラフサイズ k は性能に大きく影響し、一般に k が大きくなると精度が向上する傾向がある（例：Cora の結果は k=7 まで示される）。
• 事前学習と微調整を組み合わせることで、Graph-Bert は GCN や GAT のバリエーションを含む複数のベースラインに対して強力な性能向上を達成する。