[논문 리뷰] Graph Prompt Learning: A Comprehensive Survey and Beyond

Xiangguo Sun, Jiawen Zhang외 4명|arXiv (Cornell University)|2023. 11. 28.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 설문은 AGI를 위한 그래프 프롬프트를 분석하고, 통합 프레임워크, 방법론 분류체계, ProG 같은 실용적 도구 및 그래프 프롬프트를 발전시키기 위한 연구 웹사이트를 제안한다.

ABSTRACT

Artificial General Intelligence (AGI) has revolutionized numerous fields, yet its integration with graph data, a cornerstone in our interconnected world, remains nascent. This paper presents a pioneering survey on the emerging domain of graph prompts in AGI, addressing key challenges and opportunities in harnessing graph data for AGI applications. Despite substantial advancements in AGI across natural language processing and computer vision, the application to graph data is relatively underexplored. This survey critically evaluates the current landscape of AGI in handling graph data, highlighting the distinct challenges in cross-modality, cross-domain, and cross-task applications specific to graphs. Our work is the first to propose a unified framework for understanding graph prompt learning, offering clarity on prompt tokens, token structures, and insertion patterns in the graph domain. We delve into the intrinsic properties of graph prompts, exploring their flexibility, expressiveness, and interplay with existing graph models. A comprehensive taxonomy categorizes over 100 works in this field, aligning them with pre-training tasks across node-level, edge-level, and graph-level objectives. Additionally, we present, ProG, a Python library, and an accompanying website, to support and advance research in graph prompting. The survey culminates in a discussion of current challenges and future directions, offering a roadmap for research in graph prompting within AGI. Through this comprehensive analysis, we aim to catalyze further exploration and practical applications of AGI in graph data, underlining its potential to reshape AGI fields and beyond. ProG and the website can be accessed by \url{https://github.com/WxxShirley/Awesome-Graph-Prompt}, and \url{https://github.com/sheldonresearch/ProG}, respectively.

연구 동기 및 목표

• 노드 수준, 엣지 수준, 그래프 수준 과제 전반에 걸친 그래프 프롬프트 학습에 대한 응집적이고 통합된 이해를 제공한다.
• 그래프 프롬프트의 본질과 역할 및 그래프 모델과의 상호작용을 명확히 한다.
• 그래프 프롬프트의 설계 원칙과 학습 전략을 기술한다.
• 도구와 생태계 지원을 통해 연구를 실용적 배치와 연결한다.
• 그래프 프롬프트 연구의 현재 도전과 미래 방향을 개요한다.

제안 방법

• 프롬프트 토큰, 토큰 구조, 삽입 패턴에 중점을 둔 그래프 프롬프트를 위한 통합 프레임워크를 제안한다.
• 단순한 파인튜닝을 넘어 그래프 프롬프트와 그래프 모델 간 상호작용에 대한 새로운 관점을 제시한다.
• 선행 학습 작업(노드-, 엣지-, 그래프-, 다중 task)에 맞춰 100편이 넘는 그래프 프롬프트 연구를 포괄하는 포괄적 분류체계를 제시한다.
• 그래프 프롬프팅을 지원하기 위한 Python 라이브러리 ProG를 소개하고, 연구 저장소로서의 웹사이트를 제시한다.
• AGI에서의 그래프 프롭프트의 잠재적 응용, 도전과제, 로드맵을 논의한다.

실험 결과

연구 질문

• RQ1 RQ1: 프롬프트, 토큰, 구조, 삽입 패턴을 기반으로 한 통합 프레임워크로 기존 그래프-프롬프트 연구를 어떻게 이해할 수 있는가?
• RQ2 RQ2: 그래프 프롬프트의 본질은 무엇이며 왜 그래프 모델과 AGI에 중요한가?
• RQ3 RQ3: 그래프 프롬프트를 어떻게 설계할 것인가, 내용, 구조, 선행 학습 작업과의 정렬 및 학습 방법을 포함하여?
• RQ4 RQ4: 사용 가능한 도구와 생태계를 갖춘 실세계 응용에 그래프 프롬프트를 어떻게 배치할 수 있는가?
• RQ5 RQ5: 그래프 프롯Prompt의 현재 도전 과제와 미래 방향은 무엇인가?

주요 결과

• 프롬프트를 토큰, 토큰 구조, 삽입 패턴으로 보고 그래프 프례프트 학습을 분석하는 통합 프레임워크가 제안된다.
• 그래프 프롬프트와 그래프 모델은 단순한 태스크 파인튜닝을 넘어 상호 연결되어 프롬프트-모델 간 상호작용에 대한 새로운 통찰을 제공한다.
• 노드-, 엣지-, 그래프-레벨 작업으로 분류되는 선행 학습 및 프롬프팅 워크플로우 내 100편이 넘는 그래프 프례프트 연구의 포괄적 분류체계가 제공된다.
• 그래프 프롬프팅을 지원하기 위해 Python 라이브러리 ProG가 공개되며, 논문, 데이터셋, 코드 등을 모아두는 웹사이트가 함께 제공된다.
• 본 설문조사는 AGI를 위한 그래프 프롬프트의 현재 도전 과제와 향후 연구 로드맵을 개괄한다.