[論文レビュー] Self-Supervised Representation Learning via Latent Graph Prediction

Yaochen Xie, Xu Zhao+1 more|arXiv (Cornell University)|Feb 16, 2022

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、潜在的グラフ予測に基づく自己教師あり表現学習フレームワークであるLaGraphを提案する。自己教師あり上界を未観測の潜在的グラフを予測するために導出し、小バッチサイズや部分グラフでの学習に対する耐性を高めつつ、ノードレベルおよびグラフレベルのベンチマークにおいて、対照的・予測的自己教師あり学習手法を凌駕する最先端の性能を達成した。

ABSTRACT

Self-supervised learning (SSL) of graph neural networks is emerging as a promising way of leveraging unlabeled data. Currently, most methods are based on contrastive learning adapted from the image domain, which requires view generation and a sufficient number of negative samples. In contrast, existing predictive models do not require negative sampling, but lack theoretical guidance on the design of pretext training tasks. In this work, we propose the LaGraph, a theoretically grounded predictive SSL framework based on latent graph prediction. Learning objectives of LaGraph are derived as self-supervised upper bounds to objectives for predicting unobserved latent graphs. In addition to its improved performance, LaGraph provides explanations for recent successes of predictive models that include invariance-based objectives. We provide theoretical analysis comparing LaGraph to related methods in different domains. Our experimental results demonstrate the superiority of LaGraph in performance and the robustness to decreasing of training sample size on both graph-level and node-level tasks.

研究の動機と目的

• 対照的自己教師あり学習（SSL）の限界、特に大規模バッチサイズと負例の必要性を解消すること。
• 既存の予測モデルとは異なり、ヒューリスティック設計ではなく理論的原則に裏付けられた予測的SSLフレームワークの開発。
• コラプス問題を回避し、ストップグラデントやEMAなどの工学的テクニックに依存しない理論的裏付けのある対照的手法の代替案を提供すること。
• 潜在的グラフ予測をプロメイトタスクとして活用することで、低データ環境および大規模グラフ設定における耐性を向上させること。
• BGRLのような不変性に基づく手法の成功を、潜在的グラフ予測に根ざした統一的理論枠組みで説明すること。

提案手法

• ノード特徴量と隣接関係から導かれる非観測の隠れグラフ構造としての潜在的グラフの概念を形式化する。
• 潜在的グラフを予測する教師あり目的関数の自己教師あり上界を導出し、ラベルなしデータでのエンドツーエンド学習を可能にする。
• 潜在的グラフの再構成とデータ拡張を用いた不変性正則化を組み合わせた二重目的学習メカニズムを導入する。
• ノードマスキングをデータ拡張戦略として採用し、対照的学習の目的ではなく、潜在的予測目的における不変性を強化することを目的とする。
• グラフエンコーダ（例：GCN、GAT）を用いてノードおよびグラフレベルの表現を生成し、読み出し関数でグラフレベルの埋め込みを集約する。
• 学習目的は情報理論的原則に基づき、相互情報量最大化と関連づけ、理論的裏付けを提供する。

実験結果

リサーチクエスチョン

• RQ1 GNN向けの予測的自己教師あり学習フレームワークが、対照的目的や負例サンプリングに依存せずに、潜在的グラフ予測に理論的根拠を置けるか。
• RQ2 提案された潜在的グラフ予測目的は、対照的および不変性ベースの手法と比較して、性能および耐性においてどのように差をつけるか。
• RQ3 小規模なノードサブセットや低バッチサイズで学習する場合、フレームワークの性能がどの程度維持されるか。
• RQ4 潜在的グラフ予測目的の理論的分析は、BGRLのような既存の不変性ベース手法の成功を説明できるか。
• RQ5 ノードレベルおよびグラフレベルの表現学習タスクの両方で、一貫した改善を達成できるか。

主な発見

• LaGraphは12のノードレベルおよびグラフレベルベンチマークデータセットのうち10で最先端性能を達成し、PPI、Reddit、COLLABでもSOTAを記録した。
• PPIデータセットでは74.6のF1スコアを達成し、BGRL（70.5）とGraphCL（45.5）を上回った。また、小規模サブセットでの学習時、メモリ使用量も顕著に低減された。
• Flickrではわずか0.22％のノード（100ノード）での学習でも安定した性能を維持し、6.07のF1スコアを達成した。一方、GraphCLは1,000ノードでコラプスを示し、45.48のF1スコアとなった。
• LaGraphは小バッチサイズに対しても耐性がある：バッチサイズを128から8に減らしても性能が安定しており、対照的手法（例：GraphCL）とは異なり顕著な精度低下を示さない。
• COLLABでは95.8％、Redditでは95.2％の精度を達成し、BGRL（95.6％および95.2％）およびGRACEやGCAなどの他のSOTA手法を上回った。
• アブレーションスタディにより、LaGraphの性能はサブグラフでの学習時でも安定しており、メモリ消費量は線形に増加し、性能は一貫して維持された。一方、GraphCLはスケーリングに伴い実行不能となった。