[논문 리뷰] Graph Learning and Its Advancements on Large Language Models: A Holistic Survey

Shaopeng Wei, Wang, Jun외 7명|arXiv (Cornell University)|2022. 12. 17.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 종합적 서베이는 대규모 언어 모델(LLM)와 통합된 그래프 학습 기술의 발전을 종합적이고 통합적으로 검토하며, 노드, 엣지, 토폴로지와 같은 그래프 구조 요소를 기반으로 분류 체계를 제안하고, 방법, 응용 분야, 과제를 분석한다. LLM이 그래프 표현 학습을 향상시키고, 그래프 학습이 LLM의 추론 능력을 향상시키는 방식, 특히 지식 그래프 통합과 검색 기반 생성 기법을 통해 나타나는 상호보완적 관계를 강조한다.

ABSTRACT

Graph learning is a prevalent domain that endeavors to learn the intricate relationships among nodes and the topological structure of graphs. Over the years, graph learning has transcended from graph theory to graph data mining. With the advent of representation learning, it has attained remarkable performance in diverse scenarios. Owing to its extensive application prospects, graph learning attracts copious attention. While some researchers have accomplished impressive surveys on graph learning, they failed to connect related objectives, methods, and applications in a more coherent way. As a result, they did not encompass current ample scenarios and challenging problems due to the rapid expansion of graph learning. Particularly, large language models have recently had a disruptive effect on human life, but they also show relative weakness in structured scenarios. The question of how to make these models more powerful with graph learning remains open. Our survey focuses on the most recent advancements in integrating graph learning with pre-trained language models, specifically emphasizing their application within the domain of large language models. Different from previous surveys on graph learning, we provide a holistic review that analyzes current works from the perspective of graph structure, and discusses the latest applications, trends, and challenges in graph learning. Specifically, we commence by proposing a taxonomy and then summarize the methods employed in graph learning. We then provide a detailed elucidation of mainstream applications. Finally, we propose future directions.

연구 동기 및 목표

• 그래프 학습과 대규모 언어 모델(LLM)을 통합하는 통합 프레임워크 내에서 체계적이고 최신의 서베이가 부족한 문제를 해결하기 위해.
• 노드, 엣지, 그래프 토폴로지와 같은 구조적 구성 요소에 중점을 두어, 전통적 방법과 딥러닝 기반 접근법을 포함한 그래프 학습 방법의 포괄적 분류 체계를 제공하기 위해.
• 최근 LLM과 그래프 학습을 융합한 발전 사례를 분석하여, 지식 추출, 추론, LLM의 환각 현상과 구조적 지식 부족 등의 한계를 극복하는 데 중점을 두기 위해.
• 지식 그래프, 추천 시스템, 과학적 발견 등 다양한 분야에서의 새로운 응용 사례를 검토하면서 공정성, 개인정보 보호, 확장성 등의 주요 과제를 규명하기 위해.
• 실제 구조적 환경에서 그래프 학습과 LLM 간의 상호보완성을 향상시키기 위한 향후 연구 방향을 제시하기 위해.

제안 방법

• 노드, 엣지, 그래프 구조와 같은 기본 그래프 요소를 기반으로 한 새로운 그래프 학습 방법 분류 체계를 제안하여, 전통적 기법과 딥러닝 기반 기법 간의 통합적 시각을 가능하게 한다.
• 그래프 학습 방법을 임bedding 기반과 비임bedding 기반으로 분류하며, 요인 분해, 랜덤 워크, GNN 및 그래프 오토에코더를 포함한 딥러닝 기반 모델 등 하위 분류를 포함한다.
• 사전 학습된 언어 모델(PLM)과 LLM을 그래프 학습과 융합하는 방식을 분석하며, 주로 두 가지 주요 패러다임에 초점을 맞춘다: LLM을 지식 추출 도구로 사용하거나, 지식 그래프를 LLM의 추론 능력을 향상시키기 위해 활용하는 것.
• 최근의 하이브리드 아키텍처인 지식 그래프 기반 검색 기반 생성(RAG) 및 그래프 증강 LLM 등에 대해 검토하며, 사실 일致성과 추론 능력 향상에 기여하는 바를 분석한다.
• 그래프 학습의 공정성과 개인정보 보호를 검토하며, 적대적 편향 제거, 공정성 제약 조건, 그래프 펌터베이션(예: NetFense) 및 피어드 GNN(예: FedPerGNN)과 같은 개인정보 보호 기법을 포함한다.
• 기업 지식 그래프, 전자상거래, 과학적 발견, 컴퓨터 비전 등 현재의 응용 사례를 종합적으로 분석하며, 다중 모odal 및 구조적 추론 작업에 중점을 둔다.

실험 결과

연구 질문

• RQ1 그래프 학습과 대규모 언어 모델을 체계적으로 통합하여 LLM의 추론 능력과 사실 일치성을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 LLM과의 효과적인 통합을 뒷받침하는 그래프 학습의 주요 방법론적 발전은 무엇이며, 특히 지식 추출과 표현 학습 분야에서 어떤 기여를 하는가?
• RQ3 그래프-LLM 시스템을 구현할 때 발생하는 공정성 및 개인정보 보호 과제는 무엇이며, 이를 해결하기 위해 제안된 방어 기법은 무엇인가?
• RQ4 최근의 하이브리드 아키텍처(예: 그래프 증강 LLM, 지식 그래프 기반 RAG)는 구조적 또는 지식 집약적인 작업에서 표준 LLM보다 어떻게 뛰어나게 작용하는가?
• RQ5 대규모 언어 모델 시대의 그래프 학습을 위한 새로운 응용 분야와 향후 연구 방향은 무엇인가?

주요 결과

• 그래프 학습 분야의 논문 수가 급격히 증가하여, 2022년에 주요 학술 컨feren에 1,115편의 논문이 발표되어 연구 관심의 급격한 증가를 반영한다.
• 최근 LLM과 그래프 학습의 통합은 주로 두 가지 추세를 따른다: 비구조적 텍스트에서 구조적 지식을 추출하기 위해 LLM을 활용하거나, 지식 그래프를 통해 LLM의 추론 능력을 향상시키고 환각 현상을 줄이는 것.
• GNN에서의 공정성 문제는 데이터 수준의 편향(예: 인구 통계적 격리)과 그래프 구조 특유의 편향이 병합된 문제로 나타나며, 적대적 편향 제거 및 개인화된 공정성 제약 조건이 제안된 바 있다.
• NetFense 및 FedPerGNN와 같은 개인정보 보호 기법은 그래프를 훼손하거나 분산 학습을 가능하게 하여 GNN의 개인정보 침해 공격을 효과적으로 완화하면서도 모델의 유용성을 유지한다.
• 그래프 학습 방법은 사회 네트워크를 넘어 과학적 발견, 전자상거래, 시각 인식 등 다양한 분야로 확장되고 있으며, 주로 표본 데이터나 텍스트 데이터를 그래프 구조로 변환하는 방식으로 적용된다.
• 다른 진전에도 불구하고, 실생활의 동적이고 이질적인 환경에서 그래프-LLM 모델의 확장성, 해석 가능성, 일반화 능력 향상에 있어 여전히 과제가 남아 있다.