[논문 리뷰] A Survey of Graph Meets Large Language Model: Progress and Future Directions

Yuhan Li, Zhixun Li외 5명|arXiv (Cornell University)|2023. 11. 21.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 종합 검토에서는 LLM-그래프 통합을 세 가지 역할로 분류하는 새로운 분류 체계를 제안한다: LLM을 향상 요소로, 예측 요소로, 일치 요소로 본다. 체계적으로 대표적인 방법들을 검토하고, 효율성, 설명 가능성, 표현력 등의 핵심 과제를 밝히며, LLM을 활용한 그래프 학습을 발전시키기 위한 향후 연구 방향을 제시한다.

ABSTRACT

Graph plays a significant role in representing and analyzing complex relationships in real-world applications such as citation networks, social networks, and biological data. Recently, Large Language Models (LLMs), which have achieved tremendous success in various domains, have also been leveraged in graph-related tasks to surpass traditional Graph Neural Networks (GNNs) based methods and yield state-of-the-art performance. In this survey, we first present a comprehensive review and analysis of existing methods that integrate LLMs with graphs. First of all, we propose a new taxonomy, which organizes existing methods into three categories based on the role (i.e., enhancer, predictor, and alignment component) played by LLMs in graph-related tasks. Then we systematically survey the representative methods along the three categories of the taxonomy. Finally, we discuss the remaining limitations of existing studies and highlight promising avenues for future research. The relevant papers are summarized and will be consistently updated at: https://github.com/yhLeeee/Awesome-LLMs-in-Graph-tasks.

연구 동기 및 목표

• 대규모 언어 모델(LLM)과 그래프 데이터를 통합하는 기존 방법들을 종합적으로 검토하는 것.
• 기존 그래프 신경망(GNN)이 의미적 및 맥락적 노드 특징을 포착하는 데 한계가 있음을 고려해, LLM을 활용하여 이를 보완하는 것.
• LLM의 기능적 역할에 기반한 새로운 분류 체계를 제안하는 것 — 즉, 향상 요소, 예측 요소, 일치 요소.
• LLM-그래프 통합에서 효율성, 설명 가능성, 표현력 등의 핵심 과제를 규명하는 것.
• 향후 연구 방향으로 LLM을 에이전트로 재구성하고 계획 수립, 기억 기능, 도구 사용 능력을 갖추는 것과 같은 유망한 방향을 강조하는 것.

제안 방법

• 세 가지 카테고리로 나누어진 새로운 분류 체계를 제안: LLM을 향상 요소(노드 특징 향상), 예측 요소(GNN 헤드 대체), 일치 요소(다양한 모odal 통합)로 본다.
• 각 카테고리에 속하는 대표적 방법들을 검토하며, TAPE(LLM 기반 노드 임베딩 향상), InstructGLM(지시 프롬프팅을 통한 LLM 기반 예측), MoleculeSTM(다중 모달 일치)을 포함한다.
• 프롬프트 엔지니어링, 미세조정(LoRA, 프리픽스 튜닝 등), 그래프 평탄화 기법을 분석하여 LLM을 그래프 구조에 적응시키는 방법을 고려한다.
• GNN과 LLM의 표현을 동일한 벡터 공간에 통합하여 추론 능력 향상과 지식 통합을 향상시키는 방법을 분석한다.
• 내용 기반 학습과 사고의 사슬 프롬프팅을 활용하여 그래프 작업에서의 모델 설명 가능성과 추론 능력을 향상시키는 방법을 탐색한다.
• 특히 대규모 그래프 추론을 위한 효율성을 높이기 위해, 파rameter 효율적 미세조정 기법과 같은 아키텍처 및 학습 전략을 논의한다.

실험 결과

연구 질문

• RQ1 LLM을 그래프 관련 작업에서 기능적 역할에 따라 어떻게 체계적으로 분류할 수 있는가?
• RQ2 LLM을 그래프 신경망과 통합하여 GNN을 초월한 성능 향상을 이루기 위해 가장 효과적인 기법은 무엇인가?
• RQ3 LLM이 자연어 생성을 통해 그래프 추론 작업의 설명 가능성은 어떻게 향상되는가?
• RQ4 LLM을 그래프 데이터에 적용할 때 효율성, 확장성, 표현력 측면에서 나타나는 주요 제약은 무엇인가?
• RQ5 복잡한 그래프 작업을 해결하기 위해 LLM을 계획 수립, 기억 기능, 도구 사용 능력을 갖춘 에이전트로 재구성할 수 있는가?

주요 결과

• 전통적인 GNN에 비해 LLM 통합은 의미적 이해가 요구되는 상황에서 그래프 작업의 성능을 크게 향상시킨다.
• TAPE 및 LLM4Mol와 같은 방법들은 LLM이 생성한 의미적 기술을 통해 초기 노드 임베딩을 향상시켜 최종 정확도를 높인다.
• InstructGLM는 지시 프롬프팅과 그래프 평탄화를 통해 GNN 예측기 대체를 실현함으로써 최신 기술 수준의 성능을 달성하며, 제로샷 일반화를 가능하게 한다.
• MoleculeSTM 및 G-Prompt와 같은 다중 모달 일치 기법들은 LLM과 GNN 표현을 통합함으로써 분자 및 지식 그래프 작업에서의 추론 능력을 향상시킨다.
• LoRA 및 프리픽스 튜닝과 같은 파rameter 효율적 미세조정 기법들은 계산 비용을 줄이고 LLM을 그래프 데이터에 효율적으로 적응시킬 수 있다.
• 다른 진전에도 불구하고, API 기반 LLM을 사용할 경우 높은 추론 비용과 하드웨어 요구 사항으로 인해 대규모 그래프에 적용할 때 효율성 문제는 여전히 남아 있다.