[論文レビュー] GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction

Yucheng Shi, Yushun Dong+3 more|arXiv (Cornell University)|Aug 18, 2023

Advanced Graph Neural NetworksComputer Science被引用数 3

ひとこと要約

GiGaMAEは、グラフ構造とノード特徴量の両方を符号化する共同潜在埋め込みを復元することで表現学習を向上させる汎用的なグラフマスクドオートエンコーダを提案する。相互情報に基づく損失関数を用いて、排他的知識と共有知識を分離し、7つのベンチマークデータセットにおける多数のグラフ学習タスクで最先端の性能を達成する。

ABSTRACT

Self-supervised learning with masked autoencoders has recently gained popularity for its ability to produce effective image or textual representations, which can be applied to various downstream tasks without retraining. However, we observe that the current masked autoencoder models lack good generalization ability on graph data. To tackle this issue, we propose a novel graph masked autoencoder framework called GiGaMAE. Different from existing masked autoencoders that learn node presentations by explicitly reconstructing the original graph components (e.g., features or edges), in this paper, we propose to collaboratively reconstruct informative and integrated latent embeddings. By considering embeddings encompassing graph topology and attribute information as reconstruction targets, our model could capture more generalized and comprehensive knowledge. Furthermore, we introduce a mutual information based reconstruction loss that enables the effective reconstruction of multiple targets. This learning objective allows us to differentiate between the exclusive knowledge learned from a single target and common knowledge shared by multiple targets. We evaluate our method on three downstream tasks with seven datasets as benchmarks. Extensive experiments demonstrate the superiority of GiGaMAE against state-of-the-art baselines. We hope our results will shed light on the design of foundation models on graph-structured data. Our code is available at: https://github.com/sycny/GiGaMAE.

研究の動機と目的

• さまざまな下流タスクにわたる既存のグラフマスクドオートエンコーダの一般化能力の制限を解決すること。
• 構造と特徴量という本質的に不適合な異なるグラフモダリティを復元する課題を克服すること。
• 複数の復元ターゲットから得られる排他的知識と共有知識を両方捉える統一的な自己教師付き学習目的関数を構築すること。
• タスク固有の微調整なしに包括的かつ一般化可能なノード表現を学習することで、効果的な転移学習を可能にすること。
• グラフ表現学習における共同潜在空間復元が単一モダリティの復元よりも優れていることを実証すること。

提案手法

• 構造的および属性的情報を統合した潜在埋め込みを復元する、生のグラフ要素ではなく統合された潜在埋め込みを対象とするグラフマスクドオートエンコーダ「GiGaMAE」を提案する。
• 2段階のトレーニングパイプラインを採用：まず、ノード2ベクトルやPCAなどのターゲットモデルを事前学習してターゲット埋め込みを生成し、その後オートエンコーダをこれらの埋め込みで訓練する。
• 個々のターゲットから学習された知識と複数のターゲットに共通する知識を区別する相互情報に基づく復元損失を導入する。
• 多次元相互情報に基づいて損失を定式化し、個々の知識と結合知識の両方の復元をバランスさせることで、表現品質を向上させる。
• エンコーダにGATを、プロジェクタにマルチレイヤーパーセプトロンを用い、入力グラフを潜在表現にマッピングする。
• トレーニング中にノードをマスクし、共同損失を用いて潜在空間を復元することで、頑健で一般化可能な特徴学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 単一モダリティの復元と比較して、共同潜在埋め込みの復元がグラフ表現学習における一般化性能を向上させるか？
• RQ2 相互情報に基づく損失は、複数のグラフモダリティから排他的知識と共有知識の両方を捉える能力をどのように向上させるか？
• RQ3 GiGaMAEはノード分類、リンク予測、ノードクラスタリングといった多様な下流タスクにどの程度一般化できるか？
• RQ4 多数の実世界グラフデータセットにおいて、GiGaMAEの性能は最先端のベースラインと比較してどうなるか？
• RQ5 提案手法の計算コストは、既存の自己教師付きグラフモデルと比較してどの程度か？

主な発見

• GiGaMAEは7つのベンチマークデータセットにおいて、ノード分類、リンク予測、ノードクラスタリングという3つの下流タスクで、すべてにおいて最先端の性能を達成した。
• GraphMAE や VGAE といった強力なベースラインを上回り、多様なタスクにおける優れた一般化性能を示した。
• 広範なアブレーションスタディにより、相互情報に基づく損失が共有知識と排他的知識を効果的に捉えており、表現品質の向上に寄与していることが確認された。
• 潜在埋め込みの共同復元は、エッジや特徴量といった個々のコンponentsを復元するのと比較して、より包括的で頑健な表現を生み出している。
• GraphMAE よりもトレーニング時間が長くなるが（事前学習と複雑な損失による）、損失計算でグラフの部分的利用が可能であるため、GCA などの対照的手法よりも著しく高速である。
• 大規模グラフ（Physics や CS など）を含む、サイズやスパarsityが異なるデータセットにおいても一貫した性能向上を示した。