[논문 리뷰] Universal Prompt Tuning for Graph Neural Networks

Taoran Fang, Yunchao Zhang외 3명|arXiv (Cornell University)|2022. 09. 30.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 사전 훈련된 그래프 신경망을 위한 유니버설 프롬프트 튜닝 방법인 그래프 프롬프트 기능(GPF)을 제안한다. GPF는 입력 그래프의 특성 공간에서 직접 작동하여, 작업별 프롬프트 함수가 필요 없이 다양한 사전 훈련 전략에 효과적으로 적응할 수 있다. GPF는 평균적으로 전체 샘플( full-shot) 상황에서 피니테이닝보다 1.4% 높은 성능을 기록하고, 소수 샘플( few-shot) 상황에서는 3.2% 높은 성능을 기록하며, 전용 프롬프트 방법조차도 그들이 설계된 사전 훈련 전략에서조차도 슈퍼리어한 성능을 보인다.

ABSTRACT

In recent years, prompt tuning has sparked a research surge in adapting pre-trained models. Unlike the unified pre-training strategy employed in the language field, the graph field exhibits diverse pre-training strategies, posing challenges in designing appropriate prompt-based tuning methods for graph neural networks. While some pioneering work has devised specialized prompting functions for models that employ edge prediction as their pre-training tasks, these methods are limited to specific pre-trained GNN models and lack broader applicability. In this paper, we introduce a universal prompt-based tuning method called Graph Prompt Feature (GPF) for pre-trained GNN models under any pre-training strategy. GPF operates on the input graph's feature space and can theoretically achieve an equivalent effect to any form of prompting function. Consequently, we no longer need to illustrate the prompting function corresponding to each pre-training strategy explicitly. Instead, we employ GPF to obtain the prompted graph for the downstream task in an adaptive manner. We provide rigorous derivations to demonstrate the universality of GPF and make guarantee of its effectiveness. The experimental results under various pre-training strategies indicate that our method performs better than fine-tuning, with an average improvement of about 1.4% in full-shot scenarios and about 3.2% in few-shot scenarios. Moreover, our method significantly outperforms existing specialized prompt-based tuning methods when applied to models utilizing the pre-training strategy they specialize in. These numerous advantages position our method as a compelling alternative to fine-tuning for downstream adaptations.

연구 동기 및 목표

• 그래프 표현 학습에서 사전 훈련 전략의 다양성으로 인해 사전 훈련된 GNN에 대한 일반 목적의 프롬프트 튜닝 방법이 부족한 문제를 해결하기 위해.
• 기존의 프롬프트 기반 방법들이 엣지 예측이나 속성 마스킹과 같은 특정 사전 훈련 작업에 국한되어 있는 한계를 극복하기 위해.
• 입력 특성 공간에서 어떤 프롬프트 함수이든 모방할 수 있는 통합적이고 이론적으로 탄탄한 프롬프트 메커니즘을 개발하기 위해.
• 피니테이닝이 치명적인 기억 상실 문제를 겪는 저데이터 환경(소수 샘플)에서의 최종 성능 향상을 위해.
• 피니테이닝의 대체로 사용할 수 있는 플러그 앤 플레이 방식을 제공하여 사전 훈련된 모델의 일반화 능력을 유지하면서 최종 작업에 적응시키기 위해.

제안 방법

• GPF는 입력 노드 특성에 학습 가능한 프롬프트 임베딩을 추가하여, 모델 파라미터를 수정하지 않고도 입력 그래프를 '프롬프트된' 형태로 변환한다.
• 이 방법은 입력 특성 공간에서 작동하므로, 엣지 예측, 속성 마스킹, 대비 학습 등 다양한 사전 훈련 목표에 관계없이 일반적으로 적용 가능하다.
• 프롬프트 튜닝은 미분 가능한 최적화 문제로 공식화되며, GNN 기반 모델은 그대로 동결된 채로 프롬프트 임베딩만 종합적으로 최적화된다.
• 이론적 분석을 통해 GPF는 어떤 형태의 프롬프트 함수이든 동일한 효과를 낼 수 있음을 보여주며, 이는 다양한 사전 훈련 전략에 대해 보편적으로 적용 가능함을 의미한다.
• 성능 향상을 위해 추가로 학습 가능한 투영을 적용하는 GPF-plus 버전도 포함되어 있다.
• 이 방법은 표준 교차 엔트로피 손실을 사용하여 최종 작업에서 훈련되며, 하이퍼파라미터는 각 데이터셋과 사전 훈련 전략에 맞게 조정된다.

실험 결과

연구 질문

• RQ1 다양한 사전 훈련 전략에 대해 그래프 신경망에 대해 단일 프롬프트 튜닝 방법을 보편적으로 적용할 수 있는가?
• RQ2 입력 특성 공간에서의 프롬프트 튜닝이 전체 샘플 및 소수 샘플 학습 상황에서 피니테이닝보다 우월한가?
• RQ3 특화된 프롬프트 기반 방법조차도 그들이 설계된 모델에 적용되었을 때도 유니버설 프롬프트 방법이 슈퍼리어한 성능을 낼 수 있는가?
• RQ4 대비 학습 및 자기지도 기반 노드 수준 작업을 포함한 다양한 사전 훈련 목표에서 GPF는 어떻게 성능을 내는가?
• RQ5 저데이터 환경에서 GPF는 치명적인 기억 상실 문제를 어느 정도 완화하는가?

주요 결과

• GPF는 모든 사전 훈련 전략에서 전체 샘플 상황에서 표준 피니테이닝보다 평균 1.4% 높은 성능을 기록한다.
• 소수 샘플 상황에서는 피니테이닝보다 평균 3.2% 향상된 성능을 기록하며, 데이터 부족 환경에서 강력한 일반화 능력을 보여준다.
• 엣지 예측, 속성 마스킹, 컨텍스트 예측로 사전 훈련된 모델들에 대해서도 GPF는 기존의 전용 프롬프트 기반 방법보다 뚜렷이 뛰어난 성능을 보였으며, 그 방법들이 원래 설계된 사전 훈련 전략에 적용된 경우조차도 슈퍼리어했다.
• PPI 생물학적 그래프 분류 벤치마크에서 GPF는 Infomax 사전 훈련 전략 하에서 ROC-AUC 77.02%를 기록했으며, 피니테이닝(71.29%)과 다른 튜닝 기반 방법들을 모두 뛰어넘었다.
• IMDB 그래프 분류 작업에서는 GCC(E2E) 사전 훈련 전략 하에서 정확도를 피니테이닝의 72.60%에서 73.40%로 향상시켰으며, 여러 런에 걸쳐 일관된 성능 향상을 보였다.
• GPF-plus 버전은 성능을 추가로 향상시켜, Infomax 사전 훈련 전략 하에서 PPI에서 ROC-AUC 77.03%를 기록했으며, 비교된 모든 다른 튜닝 방법보다 뛰어난 성능을 보였다.