[論文レビュー] GraphMAE: Self-Supervised Masked Graph Autoencoders

Zhenyu Hou, Xiao Liu+5 more|arXiv (Cornell University)|May 22, 2022

Advanced Graph Neural Networks被引用数 31

ひとこと要約

GraphMAEは、マスク付き自己符号化器を用いたグラフのマスク済み特徴再構成アプローチ、GNNデコーダを用いた再マスクデコーディング戦略、およびスケーリングされたコサイン誤差を提案し、複数のグラフタスクにおいて対比学習および生成的ベースラインを上回る強力な結果を示します。

ABSTRACT

Self-supervised learning (SSL) has been extensively explored in recent years. Particularly, generative SSL has seen emerging success in natural language processing and other AI fields, such as the wide adoption of BERT and GPT. Despite this, contrastive learning-which heavily relies on structural data augmentation and complicated training strategies-has been the dominant approach in graph SSL, while the progress of generative SSL on graphs, especially graph autoencoders (GAEs), has thus far not reached the potential as promised in other fields. In this paper, we identify and examine the issues that negatively impact the development of GAEs, including their reconstruction objective, training robustness, and error metric. We present a masked graph autoencoder GraphMAE that mitigates these issues for generative self-supervised graph pretraining. Instead of reconstructing graph structures, we propose to focus on feature reconstruction with both a masking strategy and scaled cosine error that benefit the robust training of GraphMAE. We conduct extensive experiments on 21 public datasets for three different graph learning tasks. The results manifest that GraphMAE-a simple graph autoencoder with careful designs-can consistently generate outperformance over both contrastive and generative state-of-the-art baselines. This study provides an understanding of graph autoencoders and demonstrates the potential of generative self-supervised pre-training on graphs.

研究の動機と目的

• 再構成目的、訓練の頑健性、および誤差指標における既存の自己教師付きグラフオートエンコーダ(GAEs)の課題を特定する。
• マスクを用いた特徴再構成に焦点を当てることでGAEの設計を改善するGraphMAEを提案する。
• マスクされた特徴再構成、再マスクデコーディング、スケーリングされたコサイン誤差を導入して、グラフ上での堅牢な事前訓練を可能にする。
• ノード分類、グラフ分類、および転移学習において、GraphMAEが最先端の対比学習および生成型SSLベースラインを上回ることを示す。

提案手法

• 入力ノード特徴を[MASK]トークンでマスクし、GNNエンコーダを用いてマスクされた特徴を再構成するよう訓練する。
• より表現力のあるGNNデコーダ（例：GAT、GIN）を使用し、再マスクデコーディングでは、デコード前にマスクされたノード表現を再度マスクする。
• 分類タスクを支援するため、訓練目的として構造再構成ではなく特徴再構成を採用する。
• 特長ノルムの感度を緩和し、難しいサンプルを強調するため、平均二乗誤差（MSE）をスケーリングされたコサイン誤差（SCE）に置換する（γ ≥ 1）。
• マスク比は相対的に高く保たれ（例: 50%）、意味のある自己監督を促進し、推論時の訓練と不一致を減らすために「ランダム置換」を使用する。
• エンコーダは部分的に観測された特徴を持つ全グラフを処理し、デコーダはマスクされたノードの元の特徴を再構成する。ダウンストリーム推論はマスクなしのエンコーダを使用する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きGAE設定において、どの再構成目的がグラフ分類と関連タスクを最も適切に支援するか？
• RQ2 マスキング、デコーディングアーキテクチャ、および損失設計をいかに設計してGAEsの頑健性と性能を向上させることができるか？
• RQ3 再マスクを用いたGNNベースのデコーダを採用することは、MLPデコーダと比べて特徴回復と表現を改善するか？
• RQ4 グラフ上の特徴再構成の学習を最も安定化し改善する誤差関数はどれか？
• RQ5 自己教師付きGraphMAEの事前訓練はノード分類、グラフ分類、および転移学習のシナリオに一般化できるか？

主な発見

• GraphMAEはノード分類ベンチマークで最先端の自己教師付き手法と比較して最良または競争力のある結果を達成し、既存の生成的GAEsを大きく上回る。
• GraphMAEはグラフ分類ベンチマークでも競争力のある性能を達成し、下流タスクへの転移性を示す。
• 21の公開データセットと3つのグラフタスクにわたり、GraphMAEは一貫して対比SSLベースラインと同等かそれを上回し、場合によっては教師ありの性能に近づく。
• 構造再構成をマスクされた特徴再構成に置換し、スケーリングされたコサイン誤差と再マスクデコーディングを組み合わせることで、堅牢な訓練と表現の改善をもたらす。
• ノード分類にはGAT、グラフ分類にはGINなどのエンコーダの選択が経験的な利益を提供する。