[論文レビュー] Modality-free Graph In-context Alignment

Wei Zhuo, Siqiang Luo|arXiv (Cornell University)|Mar 13, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

MF-GIAは、事前エンコード済みのグラフ特徴とドメイン固有ラベルを統一空間で揃えることで、勾配指紋とドメイン条件付き変換を用いた異種ドメイン間のパラメータ更新なしの少数ショット・グラフインコンテキスト学習を実現します。

ABSTRACT

In-context learning (ICL) converts static encoders into task-conditioned reasoners, enabling adaptation to new data from just a few examples without updating pretrained parameters. This capability is essential for graph foundation models (GFMs) to approach LLM-level generality. Yet current GFMs struggle with cross-domain alignment, typically relying on modality-specific encoders that fail when graphs are pre-vectorized or raw data is inaccessible. In this paper, we introduce Modality-Free Graph In-context Alignment (MF-GIA), a framework that makes a pretrained graph encoder promptable for few-shot prediction across heterogeneous domains without modality assumptions. MF-GIA captures domain characteristics through gradient fingerprints, which parameterize lightweight transformations that align pre-encoded features and indexed labels into unified semantic spaces. During pretraining, a dual prompt-aware attention mechanism with episodic objective learns to match queries against aligned support examples to establish prompt-based reasoning capabilities. At inference, MF-GIA performs parameter-update-free adaptation using only a few-shot support set to trigger cross-domain alignment and enable immediate prediction on unseen domains. Experiments demonstrate that MF-GIA achieves superior few-shot performance across diverse graph domains and strong generalization to unseen domains.

研究の動機と目的

• パラメータを更新せず、事前学習済みグラフエンコーダを新しいグラフドメインの少数ショット予測に促す。
• モダリティ特異的エンコーダや生データアクセスを必要とせず、クロスドメイン整合を達成する。
• 特徴とラベルの整合を駆動する勾配ベースのドメイン指紋を導入する。
• エピソディック事前学習を通じてプロンプトベースの推論を学習し、未知ドメインで即座に推論できるようにする。

提案手法

• ドメイン固有の特徴とラベルIDを統一空間へ写像するモダリティフリー整合を、ドメイン条件付き変換で定義する。
• 勾配指紋（ワンステップ更新）を用いて、FiLMベースの特徴・ラベルアライナーをパラメータ化するドメイン埋め込みを導く。
• エピソディック事前学習中、DPAA（デュアルプロンプト対応アテンション）を用いて問い合わせを整列済みサポート例に対して照合する。
• プロンプトのみでインコンテキスト推論を学ぶため、m-way k-shotエピソードで事前学習する。
• 推論時には未知グラフのドメイン埋め込みを計算し、アライナーを適用して、事前学習済みパラメータを更新せずに予測する。

Figure 1: Overview of MF-GIA. (Left) Modality-free Alignment: The pretraining graphs are mapped to a unified space via domain-conditioned transformations. Domain descriptors $e$ ensure similar domains occupy neighboring subspaces. (Middle) Episodic Pretraining: The model learns from $m$ -way $k$ -sh

実験結果

リサーチクエスチョン

• RQ1 モダリティの前提なしに、グラフ基盤モデルは異種グラフドメイン間で真のインコンテキスト学習を実現できるか。
• RQ2 勾配指紋とドメイン条件付き整合は、未知グラフに対して訓練後も適用可能なクロスドメイン推論を可能にするか。
• RQ3 DPAAによるエピソディック事前学習は、ドメイン間のノード・エッジ分類に対して、プロンプトベース推論を効果的に促進するか。

主な発見

• MF-GIAは多様なグラフドメインにおいて卓越した少数ショット性能を達成する。
• 追加の訓練なしで全く未知のドメインへ一般化する。
• ノードタスクだけでなくエッジレベルのタスクにも効果的に転移する。
• ドメイン条件付きFiLMベースの特徴・ラベル整合は、ドメイン内意味論を保持しつつクロスドメイン転送を可能にする。

Figure 2: Domain embedder.