[논문 리뷰] MultiGPrompt for Multi-Task Pre-Training and Prompting on Graphs

Xingtong Yu, Chang Zhou외 2명|arXiv (Cornell University)|2023. 11. 28.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 신경망을 위한 다중 작업 사전 훈련 및 프롬프트 프레임워크인 MultiGPrompt을 제안한다. 이는 전문화된 프롬프트 토큰과 조합형 프롬프트 및 개방형 프롬프트를 조합한 이중 프롬프트 메커니즘을 통해 다수의 사전 테스크를 유기적으로 통합한다. 이 방법은 다중 작업 사전 훈련을 통해 다양한 포괄적인 지식을 효과적으로 추출하여, 여섯 개인 공개 벤치마크에서 소수의 샘플만으로도 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Graphs can inherently model interconnected objects on the Web, thereby facilitating a series of Web applications, such as web analyzing and content recommendation. Recently, Graph Neural Networks (GNNs) have emerged as a mainstream technique for graph representation learning. However, their efficacy within an end-to-end supervised framework is significantly tied to the availabilityof task-specific labels. To mitigate labeling costs and enhance robustness in few-shot settings, pre-training on self-supervised tasks has emerged as a promising method, while prompting has been proposed to further narrow the objective gap between pretext and downstream tasks. Although there has been some initial exploration of prompt-based learning on graphs, they primarily leverage a single pretext task, resulting in a limited subset of general knowledge that could be learned from the pre-training data. Hence, in this paper, we propose MultiGPrompt, a novel multi-task pre-training and prompting framework to exploit multiple pretext tasks for more comprehensive pre-trained knowledge. First, in pre-training, we design a set of pretext tokens to synergize multiple pretext tasks. Second, we propose a dual-prompt mechanism consisting of composed and open prompts to leverage task-specific and global pre-training knowledge, to guide downstream tasks in few-shot settings. Finally, we conduct extensive experiments on six public datasets to evaluate and analyze MultiGPrompt.

연구 동기 및 목표

• 단일 사전 테스크 기반 사전 훈련의 국한된 일반화 지식 범위 문제를 해결하기 위해.
• 노드/엣지 특성 재구성, 링크 예측, 서브그래프 수준 패턴 학습 등의 다양한 사전 테스크를 사전 훈련 중에 상호보완적으로 활용할 수 있는 방법을 개발하기 위해.
• 특정 작업에 맞춘 조합형 프롬프트와 모든 사전 테스크 간의 전반적 지식을 포괄하는 개방형 프롬프트를 조합한 이중 프롬프트 메커니즘을 설계하여 소수의 샘플 학습에서의 적응 성능을 향상시키기 위해.
• 저자원(소수의 샘플) 설정에서의 그래프 표현 학습에 있어 파라미터 효율성과 강건성을 향상시키기 위해.

제안 방법

• 다양한 자기지도 사전 테스크와 함께 공동 최적화되는 학습 가능한 사전 테스크 토큰 세트를 도입하여 그래프에서의 다중 작업 사전 훈련을 유기적으로 수행한다.
• 이중 프롬프트 메커니즘을 적용: 특정 작업에 맞춘 조합형 프롬프트와 모든 사전 테스크 간의 전반적 지식을 포괄하는 개방형 프롬프트를 조합한다.
• 학습 가능한 가중치 α를 통해 메시지 전달 레이어 전반에서 다양한 사전 테스크 토큰과 프롬프트의 영향력을 동적으로 균형 조절하는 학습 가능한 어텐션 메커니즘을 사용한다.
• 다양한 사전 테스크(예: 노드 특성 재구성, 링크 예측, 서브그래프 마스킹)를 동시에 최적화하는 다중 작업 대비 학습 목표를 적용한다.
• 사전 훈련된 GNN 가중치를 유지하면서 프롬프트 파라미터만 미세조정하는 경량 프롬프트 기반 적응 전략을 설계한다.
• 메시지 전달 레이어를 갖춘 그래프 인코더를 사용하며, 입력 및 출력 표현이 이중 프롬프트 메커니즘을 통해 최종 작업 목표와 일치하도록 유도한다.

실험 결과

연구 질문

• RQ1 다양한 사전 테스크를 포함한 다중 작업 사전 훈련이 단일 작업 사전 훈련에 비해 그래프 신경망의 일반화 능력을 크게 향상시키는가?
• RQ2 소수의 샘플 학습을 위한 프롬프트 기반 프레임워크에서 특정 작업 지식과 전반적 상호작용 지식을 효과적으로 통합할 수 있는가?
• RQ3 이중 프롬프트 메커니즘(조합형 + 개방형)이 저자원 환경에서 단일 프롬프트 또는 프롬프트 없는 기준 모델보다 얼마나 뛰어난 성능을 보이는가?
• RQ4 레이어 간 프롬프트 가중치 제어를 위한 하이퍼파rameter가 다양한 종류의 최종 작업에 따라 성능에 어떤 영향을 미치는가?

주요 결과

• MultiGPrompt은 노드 분류 및 그래프 분류 작업 모두에서 여섯 개인 공개 그래프 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 소수의 샘플 설정에서 기존의 SOTA 방법을 능가한다.
• 조합형 프롬프트와 개방형 프롬프트를 조합한 이중 프롬프트 메커니즘이 최고의 성능을 보이며, 제거 실험 결과에서 어느 한 성분도 제거할 경우 정확도가 떨어지는 것으로 확인되었다.
• 개방형 프롬프트 성분은 전반적 상호작용 지식을 전달하는 데 핵심적이며, 이 성분이 없을 경우 전체 이중 프롬프트 설정 대비 성능 저하가 심각하게 발생한다.
• 하이퍼파ram터 분석 결과, 노드 분류 작업과 그래프 분류 작업 간 최적의 α 값이 다름을 확인하여, 입력 레이어(α₀)와 출력 레이어(α₁)의 프롬프트 가중치는 작업 유형에 따라 별도로 최적화되어야 함을 시사한다.
• MultiGPrompt는 높은 파라미터 효율성을 유지하며, 최종 적응 단계에서 조정 가능한 파라미터 수가 단 522개에 불과하여 전체 미세조정 또는 표준 분류기 적응 방식보다 훨씬 적다.
• 제한된 레이블 데이터가 존재하는 소수의 샘플 설정에서도, 이중 프롬프트 메커니즘을 통해 다중 작업 사전 훈련에서의 지식을 효과적으로 전달함으로써 강건한 성능을 보였다.