[논문 리뷰] Language is All a Graph Needs

Ruosong Ye, Caiqi Zhang외 3명|arXiv (Cornell University)|2023. 08. 14.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 자연어 지시를 통해 다중 척도 그래프 구조를 기술하고, 그래프 작업을 위해 대규모 언어 모델(Large Language Models, LLMs)을 미세조정하는 그래프 학습 프레임워크인 InstructGLM을 제안한다. ogbn-arxiv, Cora, PubMed에서 최고 성능을 기록하며, 모든 GNN 및 그래프 트랜스포머 기반 모델보다 뛰어나며, LLMs가 그래프 기계 학습을 위한 타당한 기초 모델이 될 수 있음을 보여준다.

ABSTRACT

The emergence of large-scale pre-trained language models has revolutionized various AI research domains. Transformers-based Large Language Models (LLMs) have gradually replaced CNNs and RNNs to unify fields of computer vision and natural language processing. Compared with independent data samples such as images, videos or texts, graphs usually contain rich structural and relational information. Meanwhile, language, especially natural language, being one of the most expressive mediums, excels in describing complex structures. However, existing work on incorporating graph problems into the generative language modeling framework remains very limited. Considering the rising prominence of LLMs, it becomes essential to explore whether LLMs can also replace GNNs as the foundation model for graphs. In this paper, we propose InstructGLM (Instruction-finetuned Graph Language Model) with highly scalable prompts based on natural language instructions. We use natural language to describe multi-scale geometric structure of the graph and then instruction finetune an LLM to perform graph tasks, which enables Generative Graph Learning. Our method surpasses all GNN baselines on ogbn-arxiv, Cora and PubMed datasets, underscoring its effectiveness and sheds light on generative LLMs as new foundation model for graph machine learning. Our code is open-sourced at https://github.com/agiresearch/InstructGLM.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 그래프 기계 학습을 위한 기초 모델로서 그래프 신경망(GNNs)을 대체할 수 있는가를 탐구하는 것.
• 그래프 학습에서 LLMs의 통합이 제한된 문제를 해결하기 위해 그래프 구조를 자연어 기술로 표현하는 것.
• 지시 미세조정된 LLMs를 사용하여 그래프 작업을 위한 확장 가능하고 통합적이며 데이터 효율적인 프레임워크를 개발하는 것.
• 그래프 구조와 노드 특성에 대한 자연어 지시를 학습시켜 생성적 그래프 학습을 가능하게 하는 것.
• 특히 최소한의 레이블이 부여된 노드에서 LLMs가 GNNs와 그래프 트랜스포머를 능가할 수 있음을 입증하는 것.

제안 방법

• 노드 이웃 관계를 다양한 거리에서 기술하는 자연어를 사용해 다중 스텝 그래프 구조 프롬프트를 구성한다.
• 다중 작업, 다중 프롬프트 프레임워크를 기반으로 지시 미세조정을 통해 사전 학습된 LLM(예: Flan-T5, Llama)을 그래프 분류 및 노드 분류 작업에 적합하도록 미세조정한다.
• 그래프 구조를 기술적 자연어 문장으로 표현하며, 예를 들어 '노드 A는 B, C, D와 연결되어 있으며, B는 E와 F와 연결되어 있다.'와 같이 기술한다.
• 특히 대규모 그래프에서 LLM의 입력 토큰 제한에 맞게 다중 스텝 이웃 기술을 위한 샘플링 전략을 적용한다.
• 모든 그래프 작업을 텍스트 생성 문제로 간주하는 통합 생성 파이프라인을 적용하여 zero-shot 및 few-shot 일반화를 가능하게 한다.
• LLMs의 컨텍스트 내 학습 및 소수의 샘플 학습 능력을 활용하여 최소한의 레이블 데이터로도 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(Large Language Models, LLMs)은 그래프 구조의 자연어 기술로부터 효과적으로 학습하고 일반화할 수 있는가?
• RQ2 지시 미세조정된 LLMs는 표준 그래프 벤치마크 데이터셋에서 기존의 GNNs와 그래프 트랜스포머를 능가할 수 있는가?
• RQ3 특히 저데이터 환경에서 LLM 기반 그래프 학습의 성능는 제한된 레이블 데이터에 따라 어떻게 변화하는가?
• RQ4 자연어 기술을 사용하는 통합적 프롬프트 기반 프레임워크는 아키텍처 수정 없이 다양한 그래프 학습 작업을 처리할 수 있는가?
• RQ5 입력 토큰 제약으로 인해 LLMs가 대규모 그래프를 처리하는 데 가지는 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• InstructGLM는 PubMed에서 레이블 비율 0.3%인 60개의 훈련 노드만으로도 테스트 정확도 89.6%를 기록하며, 최고의 GNN 기반 베이스라인(SAIL)을 5.8% 초월한다.
• PubMed 데이터셋에서 60개의 훈련 노드를 사용할 경우, Flan-T5-large를 사용한 InstructGLM는 최고의 그래프 트랜스포머(SGFormer)를 9.3% 초월한다.
• InstructGLM는 ogbn-arxiv, Cora, PubMed에서 최고 성능을 기록하며, 모든 단일 모델 기반 GNN 및 그래프 트랜스포머 기반 베이스라인을 능가한다.
• 이 방법은 매우 낮은 레이블 비율, 예를 들어 PubMed에서 0.3%일지라도 높은 성능을 기록함으로써 뛰어난 데이터 효율성을 보여준다.
• Flan-T5-large 및 Llama-7b와 같은 지시 미세조정된 LLMs는 저데이터 설정에서 GNNs보다 뛰어난 일반화 및 소수 샘플 학습 능력을 보인다.
• 다중 프롬프트, 다중 작업 지시 미세조정을 통해 프레임워크의 확장성을 검증하였으며, 다양한 그래프 작업 간 일관된 성능을 기록하였다.