[論文レビュー] What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders

Jintang Li, Ruofan Wu+7 more|arXiv (Cornell University)|May 20, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、エッジをランダムにマスクして再構築することで表現学習を向上させる、マスクドグラフモデリング（MGM）をプローブタスクとして用いる自己教師ありグラフ表現学習フレームワーク、MaskGAEを提案する。相互情報量最大化の理論的裏付けを持つMaskGAEは、リンク予測およびノード分類ベンチマークにおいて、標準的なグラフオートエンコーダーや最先端のベースラインを上回り、特に埋め込み次元が小さい場合に顕著な性能を発揮する。

ABSTRACT

The last years have witnessed the emergence of a promising self-supervised learning strategy, referred to as masked autoencoding. However, there is a lack of theoretical understanding of how masking matters on graph autoencoders (GAEs). In this work, we present masked graph autoencoder (MaskGAE), a self-supervised learning framework for graph-structured data. Different from standard GAEs, MaskGAE adopts masked graph modeling (MGM) as a principled pretext task - masking a portion of edges and attempting to reconstruct the missing part with partially visible, unmasked graph structure. To understand whether MGM can help GAEs learn better representations, we provide both theoretical and empirical evidence to comprehensively justify the benefits of this pretext task. Theoretically, we establish close connections between GAEs and contrastive learning, showing that MGM significantly improves the self-supervised learning scheme of GAEs. Empirically, we conduct extensive experiments on a variety of graph benchmarks, demonstrating the superiority of MaskGAE over several state-of-the-arts on both link prediction and node classification tasks.

研究の動機と目的

• グラフオートエンコーダー（GAE）におけるマスキングの理論的理解の不足を解消すること。
• マスクドグラフモデリング（MGM）がGAEにおける表現学習をどのように向上させるかを調査すること。
• グラフ構造データ向けの原理的で理論的裏付けのある自己教師ありフレームワークを構築すること。
• MaskGAEが下流タスクにおいて標準的なGAEや最先端手法を上回ることを実証的に検証すること。
• マスキング比、埋め込みサイズ、エンコーダー構造といった主要ハイパーパrameterの影響を分析すること。

提案手法

• MaskGAEは、一部のエッジをマスクし、残りの可視グラフ構造からそれらを再構築することで、表現学習を向上させるマスクドグラフモデリング（MGM）をプローブタスクとして採用する。
• GNNエンコーダーとデコーダーを備えたグラフオートエンコーダーのアーキテクチャを用い、マスクされたエッジや経路を再構築する。
• 2種類のマスキング戦略を導入する：エッジ単位のマスキング（個々のエッジをマスク）と経路単位のマスキング（ノード間の全経路をマスク）。
• 損失関数は、マスクされたエッジの再構築損失と、訓練の安定化と一般化性能の向上を目的とした次数正則化損失を組み合わせる。
• 理論的分析により、MGMが部分グラフビュー間の冗長性を低減することで、相互情報量最大化を強化することが示された。
• エッジ再構築のための交差エントロピー損失を用いて、バックプロパゲーションによるエンドツーエンドの訓練が行われる。

実験結果

リサーチクエスチョン

• RQ1 標準的なグラフ再構築と比較して、マスクドグラフモデリング（MGM）はグラフオートエンコーダーにおける自己教師あり学習をどのように向上させるか？
• RQ2 GAEの文脈において、マスクドグラフモデリングと対照的学習の理論的関連性は何か？
• RQ3 エッジ単位のマスキングと経路単位のマスキングという異なるマスキング戦略は、モデル性能および表現品質にどのように影響を与えるか？
• RQ4 MaskGAEにおける再構築損失と正則化損失の最適なトレードオフは何か？
• RQ5 埋め込みサイズやエンコーダー構造といったハイパーパrameterは、MaskGAEの性能にどのように影響を与えるか？

主な発見

• MaskGAEは、複数のベンチマークでリンク予測およびノード分類タスクにおいて最先端の性能を達成し、標準的なGAEや強力な対照的ベースラインを上回った。
• Cora、CiteSeer、PubMedデータセットでは、GCNエンコーダーを用いたMaskGAEが、経路単位のマスキングで84.30%の精度、エッジ単位のマスキングで83.77%の精度を達成し、GATやSAGEの変種を上回った。
• 埋め込み次元が小さくても（例：64）良好な性能を示し、表現が情報が多くかつコンパクトであることを示しており、対照的手法が要求する大規模な次元（例：512）を必要としない。
• 次数正則化損失（L_deg）はα > 0のとき性能を向上させるが、特に経路単位のマスキングバージョンでは、αが高くなると過学習が発生する傾向がある。
• GCNはGATやSAGEと比較して一貫して優れた性能を示し、MGMと組み合わせることで単純なアーキテクチャでも十分な性能が得られることを示した。
• アブレーションスタディにより、特に密度の高いグラフ（PhotoやComputer）では、経路単位のマスキングがエッジ単位のマスキングよりも効果的であることが確認された。