[論文レビュー] RAG-GFM: Overcoming In-Memory Bottlenecks in Graph Foundation Models via Retrieval-Augmented Generation

Haonan Yuan, Qingyun Sun+3 more|arXiv (Cornell University)|Jan 21, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

1–2文の直接的な要約

ABSTRACT

Graph Foundation Models (GFMs) have emerged as a frontier in graph learning, which are expected to deliver transferable representations across diverse tasks. However, GFMs remain constrained by in-memory bottlenecks: they attempt to encode knowledge into model parameters, which limits semantic capacity, introduces heavy lossy compression with conflicts, and entangles graph representation with the knowledge in ways that hinder efficient adaptation, undermining scalability and interpretability. In this work,we propose RAG-GFM, a Retrieval-Augmented Generation aided Graph Foundation Model that offloads knowledge from parameters and complements parameterized learning. To externalize graph knowledge, we build a dual-modal unified retrieval module, where a semantic store from prefix-structured text and a structural store from centrality-based motif. To preserve heterogeneous information, we design a dual-view alignment objective that contrasts both modalities to capture both content and relational patterns. To enable efficient downstream adaptation, we perform in-context augmentation to enrich supporting instances with retrieved texts and motifs as contextual evidence. Extensive experiments on five benchmark graph datasets demonstrate that RAG-GFM consistently outperforms 13 state-of-the-art baselines in both cross-domain node and graph classification, achieving superior effectiveness and efficiency.

研究の動機と目的

• パラメータ中心のグラフファウンデーションモデルが豊富なグラフ知識をメモリ内ボトルネックのために抱え込む限界を動機付ける。
• グラフの意味的および構造的知識を外部化するリトリーバル augmented フレームワークを提案する。
• 外部化された証拠とドメイン事前知識を用いて、効率的なクロスドメインの事前学習と少数ショット適応を可能にする。

提案手法

• 意味的ストア（ノードテキスト埋め込み）と構造ストア（モチーフのWalk-Spectrumエンコーディング）を備えた統一的なバイモーダルリトリーバルデータベースを導入する。
• 崩壊せずに補完的な意味的および構造的表現を学習するためのデュアルビュー整合性目標を開発する。
• ドメイントークンを用いてドメイン priors を注入し、ドメイン認識型適応を可能にする。
• few-shot 微調整時に retrieved テキストとモチーフでサポートインスタンスを豊富にするためのインコンテキストリトリーバル augmentation を適用する。
• リトリーバル時に外部証拠をルーティングするドメインゲート付き融合を実装し、完全なモデルパラメータの更新ではなく軽量なグラフプロンプトの更新に留めるよう prompting ベースの適応を実施する。

実験結果

リサーチクエスチョン

• RQ1 RAG-GFM はクロスドメインおよびクロスデータセットの少数ショットノードとグラフ分類でどのように性能を示すか？
• RQ2 RAG-GFM のどの構成要素が性能向上に最も寄与するか？
• RQ3 リトリーバル augmentation は事前学習と微調整の際のグラフファウンデーションモデルの効率と効果を改善できるか？
• RQ4 意味的モダリティと構造モダリティの表現学習を RAG-GFM はどのようにバランスさせているか？
• RQ5 提案手法の実用的な計算効率とスケーラビリティはどうか？

主な発見

• RAG-GFM はクロスドメインの少数ショットタスクで5つのベンチマークグラフデータセットにおいて13の最先端ベースラインを一貫して上回る。
• ノード分類とグラフ分類の両方で卓越した有効性と効率性を達成する。
• デュアルストアリトリーバルモジュールとデュアルビュー整合性が堅牢なクロスドメイン知識 grounding を可能にする。
• インコンテキストリトリーバル augmentation とドメインゲート付きプロンプトは、完全なパラメータ更新を伴わずに効率的な適応を可能にする。
• 広範な実験により、様々なドメインに対して好ましいクロスドメイン転移とスケーラビリティが示される。