[論文レビュー] GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner

Zhenyu Hou, Yufei He+5 more|arXiv (Cornell University)|Apr 10, 2023

Advanced Graph Neural Networks被引用数 6

ひとこと要約

GraphMAE2 は、マルチビューのランダム再マスク復元と潜在表現予測を用いることで、特徴再構成のロバスト性を向上させる、グラフ表現学習のための復元強化型マスク自己教師付き学習フレームワークを提案する。11100万ノードと160億エッジを有する ogbn-Papers100M において、先行手法より 2.45% の向上を達成し、最先端の性能を実現する。

ABSTRACT

Graph self-supervised learning (SSL), including contrastive and generative approaches, offers great potential to address the fundamental challenge of label scarcity in real-world graph data. Among both sets of graph SSL techniques, the masked graph autoencoders (e.g., GraphMAE)--one type of generative method--have recently produced promising results. The idea behind this is to reconstruct the node features (or structures)--that are randomly masked from the input--with the autoencoder architecture. However, the performance of masked feature reconstruction naturally relies on the discriminability of the input features and is usually vulnerable to disturbance in the features. In this paper, we present a masked self-supervised learning framework GraphMAE2 with the goal of overcoming this issue. The idea is to impose regularization on feature reconstruction for graph SSL. Specifically, we design the strategies of multi-view random re-mask decoding and latent representation prediction to regularize the feature reconstruction. The multi-view random re-mask decoding is to introduce randomness into reconstruction in the feature space, while the latent representation prediction is to enforce the reconstruction in the embedding space. Extensive experiments show that GraphMAE2 can consistently generate top results on various public datasets, including at least 2.45% improvements over state-of-the-art baselines on ogbn-Papers100M with 111M nodes and 1.6B edges.

研究の動機と目的

• ノード特徴が低 discriminative（識別性が低い）場合に、グラフ自己教師付き学習におけるマスク特徴再構成の脆弱性を軽減する。
• 復元プロセスの正則化を通じて、グラフオートエンコーダーのロバスト性と一般化性能を向上させる。
• 現実世界のノイズや識別性の低い特徴を有するグラフにおいて性能が制限される入力特徴の識別性依存性を克服する。
• 埋め込み空間におけるランダム性と予測的監視を導入した新たな復元戦略により、再構成品質を向上させる。
• 複雑なデータ拡張や負例サンプリングを必要とせず、大規模グラフベンチマークで最先端の性能を達成する。

提案手法

• 複数の視点からのランダム再マスク復元を導入し、マスクされたノードの符号化埋め込みを復元段階で複数回ランダムに再マスクすることで、入力特徴への過剰適合を低減する。
• 復元段階でモデル自身が学習したノード埋め込みを予測することで、正則化信号としての潜在表現予測を提案する。
• 両方の復元戦略を組み合わせ、再構成された特徴とモデルの内部表現の整合性を強制する。
• 標準的な GNN エンコーダーと学習可能なデコーダーを用い、マスクされた特徴を再構成する。再構成損失はエンドツーエンドで最適化する。
• マスクオートエンコーダーの枠組みを維持するが、復元段階に確率的要因と予測的監視を導入することで、一般化性能を向上させる。
• 元のマスク特徴と予測された潜在表現の両方を監視信号として用いる再構成目的でモデルを学習する。

Figure 1. Linear probing results on ogbn-Products and ogbn-Papers100M. GraphMAE2 achieves a significant advantage over previous graph SSL methods on benchmarks with millions of nodes.

実験結果

リサーチクエスチョン

• RQ1 再構成プロセスにランダム性を導入することで、識別性が低いノード特徴に対してマスクグラフオートエンコーダーのロバスト性が向上するか？
• RQ2 復元段階でモデル自身の潜在表現を予測することで、特徴再構成と下流性能が向上するか？
• RQ3 固定再マスク復元と比較して、提案手法の復元戦略は大規模グラフにおける一般化性能と性能でどのように差をつけるか？
• RQ4 復元段階における正則化は、グラフ SSL における入力特徴の識別性依存性をどの程度低減できるか？
• RQ5 複雑なデータ拡張を必要とせず、ogbn-Papers100M などの大規模ベンチマークで最先端の性能を達成できるか？

主な発見

• GraphMAE2 は、11100万ノードと160億エッジを有する 100億エッジのグラフ ogbn-Papers100M において、前回の最先端手法より線形プローブ精度で 2.45% の絶対的向上を達成した。
• ogbn-Products や ogbn-Papers100M を含む複数の公開ベンチマークで一貫した性能向上を示し、先行のマスクオートエンコーダーおよび対照的学習手法を上回った。
• マルチビューのランダム再マスク復元戦略は、入力特徴への過剰適合を低減し、特に特徴が識別性が低い場合の一般化性能を向上させる。
• 潜在表現予測はより安定的で情報量の多い再構成ターゲットを提供し、下流性能の向上に寄与した。
• 負例サンプルや複雑なグラフ拡張を一切使用せず、SOTA の結果を達成したため、トレーニングパイプラインが簡素化された。
• アブレーションスタディの結果、提案された両方の復元戦略が性能向上に顕著に寄与しており、併用した場合が最も優れた結果をもたらした。

Figure 2. Overview of GraphMAE2 framework. For large-scale graphs, we first run local clustering to produce local clusters for each node as the preprocessing step. During the pre-training, GraphMAE2 corrupts the graph by masking input node features with a mask token [MASK] and then feeds the result