[논문 리뷰] MAGPrompt: Message-Adaptive Graph Prompt Tuning for Graph Neural Networks

Long D. Nguyen, Binh P. Nguyen|arXiv (Cornell University)|2026. 02. 05.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

MAGPrompt는 사전 학습된 GNN 백본을 고정하고, 각 이웃 메시지를 재가중하고 집계 중에 추가 신호를 주입하는 경량 프롬프트를 학습하여, 적은 샷 환경에서 다운스트림 성능을 향상시키고 전체 미세조정과도 경쟁력을 유지합니다.

ABSTRACT

Pre-trained graph neural networks (GNNs) transfer well, but adapting them to downstream tasks remains challenging due to mismatches between pre-training objectives and task requirements. Graph prompt tuning offers a parameter-efficient alternative to fine-tuning, yet most methods only modify inputs or representations and leave message passing unchanged, limiting their ability to adapt neighborhood interactions. We propose message-adaptive graph prompt tuning, which injects learnable prompts into the message passing step to reweight incoming neighbor messages and add task-specific prompt vectors during message aggregation, while keeping the backbone GNN frozen. The approach is compatible with common GNN backbones and pre-training strategies, and applicable across downstream settings. Experiments on diverse node- and graph-level datasets show consistent gains over prior graph prompting methods in few-shot settings, while achieving performance competitive with fine-tuning in full-shot regimes.

연구 동기 및 목표

• 사전 학습된 GNN의 다운스트림 작업 간 전이 가능성을 전체 미세조정 없이 개선하려는 동기 부여.
• 메시지 전달을 직접 조절하는 매개변수 효율적인 프롬프트 메커니즘 개발.
• 백본을 고정한 채로 일반적 GNN 백본 및 프리트레이닝 전략과의 호환성을 유지.
• 대표 기반 그래프 프롬프팅 방법 대비 이점 입증, 특히 few-shot 설정에서.

제안 방법

• GNN 백본을 고정하고 각 레이어마다 작은 프롬프트 세트를 학습합니다.
• Aggregation 중 이웃 메시지를 재가중하기 위하여 aij(l)라는 per-edge 메시지 게이트를 도입합니다.
• Aggregation 중 메시지 레벨에 주입되는 공유 메시지 프롬프트 p(l)를 추가합니다.
• 원하는 경우 MAGPrompt+로 확장하여 여러 프롬프트 베이스와 edge-adaptive 조합으로 더 풍부한 관계 패턴을 제공합니다.
• 그래프 구조와 백본 매개변수를 보존하여 순열 등가성을 유지합니다.
• 프롬프트 축소 정규화를 제공하여 MAGPrompt+에서 프롬프트 베이스의 사용을 균형 있게 합니다.

실험 결과

연구 질문

• RQ1 메시지 적응형 프롬프팅이 표현 기반 프롬프팅과 비교하여 few-shot 및 full-shot 설정에서 다운스트림 적응을 개선합니까?
• RQ2 MAGPrompt 및 MAGPrompt+ 구성 요소(재가중 및 합성 엣지 프롬프트)가 데이터셋 및 사전 학습 전략 전반에 걸쳐 성능에 어떻게 기여합니까?
• RQ3 하이퍼파라미터(프롬프트 베이스 크기, beta, 정규화 강도, 어텐션 차원)가 결과에 어떤 영향을 줍니까?

주요 결과

• MAGPrompt+는 5-shot 노드 분류 벤치마크에서 평균 성능이 가장 높아 이전 그래프 프롬프팅 방법을 능가합니다.
• MAGPrompt는 데이터셋과 사전 학습 전략에 걸쳐 대표 기반 프롬프팅보다 일관되게 개선됩니다.
• 그래프 분류(50-shot)에서 MAGPrompt+는 모든 벤치마크와 사전 학습 방법에서 최다 평균 정확도를 달성합니다.
• 전체 샷 MoleculeNet 벤치마크에서 MAGPrompt+는 ROC-AUC에서 최첨단 수준을 달성하며 종종 미세조정보다 우수합니다.
• 변성 연구에서 메시지 적응형 재가중이 결정적이며, 메시지별 프롬프트 추가가 추가 이점을 제공합니다.
• 프롬프트 베이스(10-20)는 표현력과 효율성 사이의 균형을 제공하며, 정규화는 프롬프트 붕괴를 완화합니다.