[논문 리뷰] RAG-GFM: Overcoming In-Memory Bottlenecks in Graph Foundation Models via Retrieval-Augmented Generation

Haonan Yuan, Qingyun Sun외 3명|arXiv (Cornell University)|2026. 01. 21.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

RAG-GFM은 이중 모달 검색 저장소와 교차 뷰 사전 학습을 통해 그래프 지식을 외부화하고, 그 다음에 컨텍스트 내 검색 증강(in-context retrieval augmentation)을 사용하여 그래프 기초 모델(Graph Foundation Models)의 효율적이고 소수 샷 적응을 달성합니다.

ABSTRACT

Graph Foundation Models (GFMs) have emerged as a frontier in graph learning, which are expected to deliver transferable representations across diverse tasks. However, GFMs remain constrained by in-memory bottlenecks: they attempt to encode knowledge into model parameters, which limits semantic capacity, introduces heavy lossy compression with conflicts, and entangles graph representation with the knowledge in ways that hinder efficient adaptation, undermining scalability and interpretability. In this work,we propose RAG-GFM, a Retrieval-Augmented Generation aided Graph Foundation Model that offloads knowledge from parameters and complements parameterized learning. To externalize graph knowledge, we build a dual-modal unified retrieval module, where a semantic store from prefix-structured text and a structural store from centrality-based motif. To preserve heterogeneous information, we design a dual-view alignment objective that contrasts both modalities to capture both content and relational patterns. To enable efficient downstream adaptation, we perform in-context augmentation to enrich supporting instances with retrieved texts and motifs as contextual evidence. Extensive experiments on five benchmark graph datasets demonstrate that RAG-GFM consistently outperforms 13 state-of-the-art baselines in both cross-domain node and graph classification, achieving superior effectiveness and efficiency.

연구 동기 및 목표

• 풍부한 그래프 지식을 저장하는 메모리 내 병목으로 인한 한계
• 메모리 내 병목으로 인한 한계
• 그래프의 의미적 및 구조적 지식을 외부화하기 위한 검색 보강 프레임워크를 제안한다.
• 그래프의 의미적 및 구조적 지식을 외부화하기 위한 검색 보강 프레임워크를 제안한다.
• 외부화된 증거와 도메인 사전 정보를 통해 효율적인 교차 도메인 사전 학습 및 소수 샷 적응을 가능하게 한다.

제안 방법

• 의미 저장소(노드 텍스트 임베딩)와 구조 저장소(Walk-Spectrum Encoding of motifs)를 갖춘 통합된 양모드 검색 데이터베이스를 도입한다.
• 붕괴 없이 보완적인 의미적 및 구조적 표현을 학습하기 위한 이중 뷰 정렬 목적을 개발한다.
• 도메인 토큰을 사용하여 도메인 사전 정보를 주입하고 도메인 인식 적응을 가능하게 한다.
• 소수 샷 미세 조정 중에 검색된 텍스트와 모티프를 활용해 지원 인스턴스를 풍부하게 하도록 컨텍스트 내 검색 증강을 적용한다.
• 검색 중 외부 증거를 경로화하기 위한 도메인 게이트 결합을 구현하고, 전체 모델 매개변수가 아니라 경량 그래프 프롬프트만 업데이트하는 프롬프트 기반 적응을 적용한다.

실험 결과

연구 질문

• RQ1 RAG-GFM이 교차 도메인 및 교차 데이터셋의 소수 샷 노드 및 그래프 분류에서 어떤 성과를 보이는가?
• RQ2 RAG-GFM의 어느 구성 요소가 성능 향상에 가장 크게 기여하는가?
• RQ3 검색 보강이 사전 학습 및 미세 조정 동안 그래프 기초 모델의 효율성과 효과를 향상시킬 수 있는가?
• RQ4 RAG-GFM은 의미적 및 구조적 양상을 가로지르는 표현 학습의 균형을 어떻게 조절하는가?
• RQ5 제안된 접근법의 실제 컴퓨팅 효율성과 확장성은 어떠한가?

주요 결과

• RAG-GFM은 교차 도메인 소수 샷 작업에서 다섯 개의 벤치마크 그래프 데이터셋에서 13개의 최첨단 기준선보다 일관되게 높은 성능을 보인다.
• 모델은 노드 및 그래프 분류 모두에 대해 우수한 효과성과 효율성을 달성한다.
• 이중 저장소 검색 모듈과 이중 뷰 정렬은 강력한 교차 도메인 지식 기반 확립을 가능하게 한다.
• 컨텍스트 내 검색 증강 및 도메인 게이트 프롬프트는 전체 매개변수 업데이트 없이도 효율적인 적응을 가능하게 한다.
• 광범위한 실험은 다양한 도메인에 걸친 우호적인 교차 도메인 전이와 확장성을 입증한다.