[논문 리뷰] A Survey of Few-Shot Learning on Graphs: from Meta-Learning to Pre-Training and Prompt Learning

Xingtong Yu, Yuan Fang외 6명|arXiv (Cornell University)|2024. 02. 02.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 종합적 서베이는 그래프 기반 소수 학습에 대해 체계적이고 종합적인 검토를 제공하며, 기존 방법을 메타학습, 사전 훈련, 하이브리드 접근법으로 분류한다. 세밀한 분류 체계를 제공하고 각 파라디그마의 강점과 한계를 비교하며, 확장성, 복잡한 그래프 구조, 그래프용 기초 모델 등 향후 연구 방향을 제시한다.

ABSTRACT

Graph representation learning, a critical step in graph-centric tasks, has seen significant advancements. Earlier techniques often operate in an end-to-end setting, which heavily rely on the availability of ample labeled data. This constraint has spurred the emergence of few-shot learning on graphs, where only a few labels are available for each task. Given the extensive literature in this field, this survey endeavors to synthesize recent developments, provide comparative insights, and identify future directions. We systematically categorize existing studies based on two major taxonomies: (1) Problem taxonomy, which explores different types of data scarcity problems and their applications, and (2) Technique taxonomy, which details key strategies for addressing these data-scarce few-shot problems. The techniques can be broadly categorized into meta-learning, pre-training, and hybrid approaches, with a finer-grained classification in each category to aid readers in their method selection process. Within each category, we analyze the relationships among these methods and compare their strengths and limitations. Finally, we outline prospective directions for few-shot learning on graphs to catalyze continued innovation in this field. The website for this survey can be accessed by \url{https://github.com/smufang/fewshotgraph}.

연구 동기 및 목표

• 그래프 기반 기계 학습에서 레이블이 부족한 데이터 문제를 해결하기 위해 최근의 그래프 소수 학습 기술 발전을 서베이하는 것.
• 그래프 소수 학습 방법에 대한 체계적 분류 체계를 제공하여, 메타학습, 사전 훈련, 하이브리드 접근법으로 분류하는 것.
• 각 방법군의 강점과 한계를 비교하여 실무 응용에서의 방법 선택에 도움이 되는 가이드라인을 제공하는 것.
• 미해결 과제를 규명하고 향후 연구 방향을 제안하는 것—대규모, 복잡한, 다중 도메인 그래프에서의 소수 학습을 포함하여.
• 그래프 기초 모델의 잠재력과 소수 그래프 학습에서의 해석 가능성 향상 가능성을 논의하여 혁신을 자극하는 것.

제안 방법

• 이 서베이는 기존 그래프 소수 학습 방법을 세 가지 주요 유형으로 분류한다: 메타학습, 사전 훈련, 하이브리드 접근법.
• 메타학습의 경우, MAML 및 프로토타입 네트워크와 같은 방법을 검토하며, 이는 작업 분포에 대한 메타훈련을 통해 일반적인 적응 과정을 학습한다.
• 사전 훈련의 경우, 대비 학습 및 그래프 오토에코더와 같은 자기지도 기반 기법을 검토하며, 이는 레이블이 없는 데이터에서 그래프 인코더를 최적화한다.
• 하이브리드 접근법은 메타학습과 사전 훈련을 통합하여, 레이블이 없는 그래프 데이터와 레이블이 있는 메타작업을 모두 활용해 더 강력한 적응 능력을 확보한다.
• 서베이는 작업 간 일반화 능력, 확장성, 새로운 클래스로의 전이 가능성 등 기준에 따라 방법을 평가한다.
• 각 유형 내에서 세분화된 분류 체계를 제공하여 연구자들이 특정 그래프 학습 작업에 적합한 기법을 선택하는 데 도움을 준다.

실험 결과

연구 질문

• RQ1 그래프 소수 학습을 체계적으로 분류함으로써 방법 선택과 이해를 향상시킬 수 있는가?
• RQ2 메타학습, 사전 훈련, 하이브리드 접근법 간의 핵심 차이점, 강점, 한계는 무엇인가?
• RQ3 대규모, 복잡한, 다중 도메인 그래프에 소수 학습을 적용할 때 남아 있는 과제는 무엇인가?
• RQ4 특히 잠재 공간 프롬프트의 블랙박스 성격으로 인해, 소수 그래프 학습 모델의 해석성을 어떻게 향상시킬 수 있는가?
• RQ5 그래프 기초 모델은 다양한 그래프 구조와 작업 유형 간 전이 가능성 향상에 어떤 역할을 할 수 있는가?

주요 결과

• MAML 및 프로토타입 네트워크와 같은 메타학습 접근법은 작업 분포에 대한 메타훈련을 통해 일반적인 적응 과정을 학습하며, 소수의 레이블 예제로도 새로운 작업에 신속하게 적응할 수 있다.
• GraphSAGE 및 GAE와 같은 사전 훈련 방법은 레이블이 없는 데이터에서 자기지도 기반의 사전 과제를 통해 그래프 표현을 학습하고, 이후 하류 소수 학습 작업에 맞춤형 조정을 수행한다.
• 메타학습과 사전 훈련을 결합한 하이브리드 접근법은 레이블이 없는 데이터와 작업별 특화된 레이블을 모두 활용함으로써 더 강력한 적응 능력을 확보해 성능 향상을 이룬다.
• 대규모 그래프에서의 소수 학습은 계산 비효율성과 지역성 인식 전략이 필요한 확장 가능한 적응 전략이 필요하기 때문에 여전히 주요 과제이다.
• 3D, 다중 모odal, 동적 그래프와 같은 복잡한 그래프 구조는 현재의 동질적이고 정적 그래프 가정을 초월한 새로운 방법론적 프레임워크가 필요하다.
• 거대하고 다양한 그래프 데이터로 사전 훈련된 그래프 기초 모델의 개발은 도메인 및 작업 유형 간 전이 가능성 향상에 큰 잠재력을 지닌다. 이는 회귀 및 그래프 생성 작업을 포함한다.