[論文レビュー] Graph-level Representation Learning with Joint-Embedding Predictive Architectures

Geri Skenderi, Hang Li+2 more|arXiv (Cornell University)|Sep 27, 2023

Advanced Graph Neural NetworksComputer Science被引用数 3

ひとこと要約

本稿では、グラフレベルの自己教師付き表現学習のための、初めての共同埋め込み予測アーキテクチャであるGraph-JEPAを提案する。データ拡張や負例を用いずに、文脈部分グラフを用いてマスクされた部分グラフの埋め込みを予測する。2次元潜在空間における単位双曲線上の座標予測という新しい目的関数により、階層的グラフ概念を捉え、グラフ分類および回帰タスクで競争的な性能を達成する。

ABSTRACT

Joint-Embedding Predictive Architectures (JEPAs) have recently emerged as a novel and powerful technique for self-supervised representation learning. They aim to learn an energy-based model by predicting the latent representation of a target signal y from the latent representation of a context signal x. JEPAs bypass the need for negative and positive samples, traditionally required by contrastive learning while avoiding the overfitting issues associated with generative pretraining. In this paper, we show that graph-level representations can be effectively modeled using this paradigm by proposing a Graph Joint-Embedding Predictive Architecture (Graph-JEPA). In particular, we employ masked modeling and focus on predicting the latent representations of masked subgraphs starting from the latent representation of a context subgraph. To endow the representations with the implicit hierarchy that is often present in graph-level concepts, we devise an alternative prediction objective that consists of predicting the coordinates of the encoded subgraphs on the unit hyperbola in the 2D plane. Through multiple experimental evaluations, we show that Graph-JEPA can learn highly semantic and expressive representations, as shown by the downstream performance in graph classification, regression, and distinguishing non-isomorphic graphs. The code is available at https://github.com/geriskenderi/graph-jepa.

研究の動機と目的

• 対照的・生成的自己教師付き学習における限界、すなわちデータ拡張や負例に依存すること、分布推定による過学習を解消するため。
• 潜在空間で動作するJEPAベースのフレームワークを構築し、明示的な再構成や対照的目的を回避するグラフレベル表現学習を実現するため。
• 2次元潜在空間における単位双曲線上の部分グラフ座標を予測することで、階層的グラフレベル概念を捉える予測目的を設計するため。
• 標準的なグラフベンチマークデータセットを用いて、分類および回帰タスクにおけるGraph-JEPAの有効性を評価するため。
• 位置符号化、自己注意機構、部分グラフサンプリング戦略といった重要な設計選択のアブレーションスタディを実施するため。

提案手法

• Graph-JEPAは、入力グラフから抽出した文脈部分グラフに基づき、ランダムに選択されたターゲット部分グラフの潜在表現を予測するマスクモデリングを用いる。
• 部分グラフ表現をプーリングしてグローバルなグラフレベル埋め込みを形成し、下流の分類および回帰タスクに利用可能にする。
• ターゲット部分グラフ埋め込みを2次元空間における単位双曲線上の座標として符号化する、新たな予測目的を導入し、階層的グラフ概念をモデル化する。
• 文脈部分グラフ表現をターゲット部分グラフの潜在埋め込みに予測するための予測ネットワークを採用し、共同埋め込みパラダイムを適用する。
• 位置符号化として相対ウェーブレットスペクトル埋め込み（RWSE）を用い、ノードレベル vs. パッチレベルのRWSEをアブレーションスタディで比較する。
• グラフ構造データに適合する誘導的バイアスを提供するため、ハダマード自己注意を採用し、標準自己注意とのアブレーションを実施する。

Figure 1: Illustration of the three main SSL approaches: (a) Joint-Embedding Architectures learn to create similar embeddings for inputs x and y that are compatible with each other and dissimilar embeddings for inputs that are not compatible. This compatibility is implemented in practice by creating

実験結果

リサーチクエスチョン

• RQ1 JEPAベースのアプローチは、データ拡張や負例を一切用いずに、効果的にグラフレベル表現を学習できるか？
• RQ2 単位双曲線上の部分グラフ座標を予測することは、標準的な潜在再構成と比較して、グラフSSLの性能向上に寄与するか？
• RQ3 構造的（METIS）とランダムな部分グラフサンプリング戦略の違いが、モデルの性能および安定性に与える影響は何か？
• RQ4 位置符号化の種別（ノードレベル vs. パッチレベルのRWSE）が、Graph-JEPAの性能に与える影響は何か？
• RQ5 距離関数の選択（ユークリッド距離 vs. 双曲距離）が、さまざまなグラフデータセットにおけるモデルの一般化性能に与える影響は何か？

主な発見

• Graph-JEPAは、MUTAGでは91.25±5.75%、IMDB-Bでは73.68±3.24%の精度を達成し、分類タスクで最先端の性能を発揮し、対照的および生成的ベースラインを上回る。
• ZINC回帰ベンチマークでは、平均絶対誤差（MAE）が0.434±0.01を達成し、次善の手法（0.471±0.01）を顕著に上回る。
• 双曲距離関数を用いることで、MUTAGおよびREDDIT-Mで性能が向上し、89.43±5.67%の精度を達成した（ユークリッド距離では87.04±6.01%）。
• アブレーションスタディの結果、ノードレベル（グローバル）RWSEはパッチレベル（相対）RWSEを常に上回り、重複する近隣情報によるばらつきが大きくなるため。
• ハダマード自己注意を標準自己注意に置き換えると、わずかに良いがより不安定な性能を示し、誘導的バイアスが訓練の一貫性を向上させることを示唆する。
• ランダムな部分グラフサンプリングはMETISベースのサンプリングと同等の性能を示すが、一般化性に劣る。METISは多様なグラフにおいてより優れた誘導的バイアスと安定性を提供するため、推奨される。

Figure 2: An overview of Graph-JEPA. We first extract non-overlapping subgraphs (patches) (a.), perform a 1-hop neighborhood expansion (b.), and encode the subgraphs with a GNN (c.). After the subgraph encoding, one is randomly picked as the context and $m$ others as the targets (d.) and they are fe