[논문 리뷰] One for All: Towards Training One Graph Model for All Classification Tasks

Hao Liu, Jiarui Feng외 5명|arXiv (Cornell University)|2023. 09. 29.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 피드백 없이도 다양한 그래프 작업(노드, 링크, 그래프 수준)에 대해 zero-shot, few-shot, 그리고 지도 학습 분류를 수행할 수 있는 유일한 통합 그래프 기초 모델인 One for All (OFA)을 제안한다. OFA는 텍스트 기반 그래프와 공통 언어 모델을 통해 다중 도메인 그래프 데이터를 통합하고, 관심 노드와 새로운 그래프 프롬프팅 파라다임을 활용해 작업 일반화를 달성하며, 피드백 없이도 인용 네트워크, 분자 그래프, 지식 그래프, 전자상거래 네트워크 등 다양한 분야에서 뛰어난 zero-shot 성능을 달성한다.

ABSTRACT

Designing a single model to address multiple tasks has been a long-standing objective in artificial intelligence. Recently, large language models have demonstrated exceptional capability in solving different tasks within the language domain. However, a unified model for various graph tasks remains underexplored, primarily due to the challenges unique to the graph learning domain. First, graph data from different areas carry distinct attributes and follow different distributions. Such discrepancy makes it hard to represent graphs in a single representation space. Second, tasks on graphs diversify into node, link, and graph tasks, requiring distinct embedding strategies. Finally, an appropriate graph prompting paradigm for in-context learning is unclear. We propose extbf{One for All (OFA)}, the first general framework that can use a single graph model to address the above challenges. Specifically, OFA proposes text-attributed graphs to unify different graph data by describing nodes and edges with natural language and uses language models to encode the diverse and possibly cross-domain text attributes to feature vectors in the same embedding space. Furthermore, OFA introduces the concept of nodes-of-interest to standardize different tasks with a single task representation. For in-context learning on graphs, OFA introduces a novel graph prompting paradigm that appends prompting substructures to the input graph, which enables it to address varied tasks without fine-tuning. We train the OFA model using graph data from multiple domains (including citation networks, molecular graphs, knowledge graphs, etc.) simultaneously and evaluate its ability in supervised, few-shot, and zero-shot learning scenarios. OFA performs well across different tasks, making it the first general-purpose across-domains classification model on graphs.

연구 동기 및 목표

• 노드, 링크, 그래프 수준의 다양한 그래프 작업과 도메인(예: 인용, 분자, 지식 그래프)을 아우르는 단일 그래프 모델을 개발한다.
• 자연어 기반 기술을 사용해 다양한 도메인 간 이질적인 그래프 특성 분포를 공통 임베딩 공간으로 통합함으로써 도메인 간 특성 분포의 이질성 문제를 해결한다.
• 특수한 하위구조를 활용한 일반적인 그래프 프롬프팅 파라다임을 설계하여 피드백 없이도 그래프에서의 컨텍스트 기반 학습을 가능하게 한다.
• 관심 노드와 공통 작업 표현을 사용해 단일 프레임워크 내에서 다양한 그래프 작업을 통합한다.

제안 방법

• 노드와 간선을 자연어로 기술하는 텍스트 기반 그래프(TAGs)를 제안하여 단일 대규모 언어 모델을 통해 다중 도메인 특성 임베딩을 가능하게 한다.
• 다양한 그래프 학습 작업 간의 작업 표현을 표준화하기 위해 관심 노드(NOI)를 도입하여 관련 하위구조를 식별하고 집중한다.
• 작업 전용 하위그래프(프롬프트 노드)를 입력 그래프에 첨부하는 그래프 프롬프팅 파라다임(GPP)을 설계하여 작업 기술을 직접 그래프 구조에 인코딩한다.
• 다양한 도메인(예: Cora, PubMed, HIV, FB15K237)의 다수의 그래프 데이터셋을 통합된 목표로 함께 훈련하여 단일 OFA 모델을 훈련시킨다.
• 대규모 언어 모델을 사용해 노드, 간선, 작업의 텍스트 기술을 공통 임베딩 공간으로 인코딩하여 다중 도메인 일반화를 가능하게 한다.
• 분류를 위해 NOI 임베딩에 평균 풀링을 적용하고, 작업 기술을 최종 표현에 연결하여 예측을 수행한다.

실험 결과

연구 질문

• RQ1 피드백 없이도 다양한 그래프 작업과 도메인에서 zero-shot 및 few-shot 분류를 수행할 수 있는 단일 그래프 모델을 개발할 수 있는가?
• RQ2 다양한 도메인(예: 인용, 분자, 지식 그래프)에서 온 이질적인 그래프 데이터를 어떻게 하나의 표현 공간으로 통합할 수 있는가?
• RQ3 다양한 작업 유형에 대해 그래프에서의 컨텍스트 기반 학습을 가능하게 하는 효과적이고 일반적인 그래프 프롬프팅 메커니즘은 무엇인가?
• RQ4 다양한 작업 유형과 도메인에서의 공동 훈련이 작업별 피드백 훈련에 비해 일반화 성능을 향상시키는가?
• RQ5 제안된 구성 요소들인 텍스트 기반 그래프, 관심 노드, 그래프 프롬프팅이 zero-shot 및 few-shot 성능에 기여하는 방식은 무엇인가?

주요 결과

• OFA는 다양한 그래프 작업에서 뛰어난 zero-shot 성능을 달성한다. 노드 수준(Cora: 48.72% 정확도), 링크 수준(FB15K237: 63.99% AUC), 그래프 수준(HIV: 35.67% AUC) 작업 모두에서 성능이 뛰어나다.
• 모든 작업과 도메인에서의 공동 훈련(OFA-joint-lr)은 Cora와 HIV에서 작업별 훈련(OFA-ind-lr)보다 성능이 뛰어나지 않아 지식 전이의 이점을 보여준다.
• NOI 하위그래프를 활용한 그래프 프롬프팅 파라다임은 공동 훈련 중 성능 유지에 기여하지만, '-Class node'와 같은 대안적 방법은 작업 혼동으로 인해 성능이 심각하게 저하된다.
• PCBA 데이터셋에서 공동 훈련은 zero-shot 성능(60.62% AUC)을 향상시키지만, few-shot 성능은 저하되어 공동 학습에서의 작업 불균형이 나타난다.
• 제거 실험 결과, 그래프 프롬프팅 메커니즘이 다중 도메인 공동 훈련 중 성능 유지에 필수적임을 확인하였으며, 이는 작업 전용 신호의 모호함을 제거하기 때문이다.
• 텍스트 기반 그래프의 사용은 효과적인 다중 도메인 표현 학습을 가능하게 하며, 이질적인 도메인(예: 분자 원자와 전자상거래 항목)에서 유도된 LLM 임bedding 텍스트 특성이 공통 공간에서 성공적으로 정렬된다.