[논문 리뷰] Talk like a Graph: Encoding Graphs for Large Language Models

Bahare Fatemi, Jonathan Halcrow외 1명|arXiv (Cornell University)|2023. 10. 06.

Topic Modeling인용 수 10

한 줄 요약

본 논문은 그래프 인코딩을 텍스트로 표현하여 LLM의 그래프 추론 성능에 그래프 인코딩, 태스크 유형, 그래프 구조가 모두 영향을 준다는 것을 보이고, best-practice 인사이트와 4.8%에서 61.8%까지의 성능 향상을 보이는 GraphQA를 제시한다.

ABSTRACT

Graphs are a powerful tool for representing and analyzing complex relationships in real-world applications such as social networks, recommender systems, and computational finance. Reasoning on graphs is essential for drawing inferences about the relationships between entities in a complex system, and to identify hidden patterns and trends. Despite the remarkable progress in automated reasoning with natural text, reasoning on graphs with large language models (LLMs) remains an understudied problem. In this work, we perform the first comprehensive study of encoding graph-structured data as text for consumption by LLMs. We show that LLM performance on graph reasoning tasks varies on three fundamental levels: (1) the graph encoding method, (2) the nature of the graph task itself, and (3) interestingly, the very structure of the graph considered. These novel results provide valuable insight on strategies for encoding graphs as text. Using these insights we illustrate how the correct choice of encoders can boost performance on graph reasoning tasks inside LLMs by 4.8% to 61.8%, depending on the task.

연구 동기 및 목표

• 고정된(블랙박스) LLM을 이용해 그래프-구조 데이터를 텍스트로 인코딩하여 추론을 유도한다.
• LLM의 그래프 추론 성능에 그래프 인코딩 선택이 미치는 영향을 체계적으로 분석한다.
• 프롬프트 전략과 그래프 구조가 추론 결과에 미치는 영향을 살펴본다.
• 그래프 구조 효과를 다양하게 연구하기 위한 벤치마크로서 GraphQA를 도입한다.

제안 방법

• 그래프 인코딩 함수 g(G)와 질문 재표현 함수 q(Q)를 정의하여 그래프와 질문을 LLM이 소비하는 텍스트 토큰으로 매핑한다.
• 그래프 추론 설정에서 제로샷, 파샷, 체인-오브-생각(Chain-of-Thought), 제로샷 CoT, cot-가방 등 프롬프트 히스득스를 평가한다.
• 복수의 그래프 인코딩을 실험하고 기본 그래프 작업에 미치는 영향을 관찰한다.
• 다양한 그래프 생성기( ER, BA, SBM, SFN, 스타, 경로, 전체) 를 사용하여 그래프 구조의 효과를 조사한다.
• PaLM 2 변형 XXS, XS, S, L을 비교하여 모델 용량의 효과를 평가한다.
• 그래프구조의 효과를 연구하기 위한 벤치마크로 GraphQA를 도입한다.

실험 결과

연구 질문

• RQ1 g(G) 그래프 인코딩 함수의 선택이 LLM의 그래프 추론 능력에 어떤 영향을 미치는가?
• RQ2 다양한 그래프 구조 프롬프트와 질문 인코딩이 기본 그래프 작업의 성능에 어떤 영향을 주는가?
• RQ3 그래프 구조가 LLM의 추론에 의미 있게 영향을 미치는가, 그리고 모델 용량은 이러한 효과에 어떻게 작용하는가?
• RQ4 그래프를 텍스트로 인코딩하여 LLM 추론 성능을 극대화하기 위한 모범 사례는 무엇인가?
• RQ5 다양한 그래프 생성기와 소수 샷/CoT 프롬프트가 그래프 작업의 추론을 개선할 수 있는가?

주요 결과

• LLMs는 신중한 인코딩과 프롬프트 없이는 기본 그래프 작업에서 성능이 저조하다.
• 그래프 인코딩 함수가 작업 전반에 걸쳐 LLM 추론 성능에 상당한 영향을 미친다.
• 모델 용량은 그래프 추론에 크게 영향을 미치며, 일반적으로 더 큰 PaLM 2 모델이 더 나은 성능을 보인다.
• 질문 인코더 선택(그래프 대 애플리케이션)이 작업 정확도에 의미 있게 변화를 주어 때때로 큰 이득을 준다.
• 여러 관계 인코딩을 사용하는 것이 작업에 따라 도움이 되기도 하고 해가 되기도 하며, 순환 관련 질의에서 일부 향상을 보인다.
• 그래프 구조는 중요하다: 서로 다른 그래프 생성기가 작업에 따라 큰 성능 차이를 보인다(예: 순환 체크 정확도가 그래프 유형에 따라 달라짐).
• 소수 샷 프롬프트와 CoT가 일반적으로 추론 성능을 향상시키며, 분포 외 소수 샷 예제가 일부 설정에서 도움이 될 수 있다.
• 연결되지 않은 노드 추론은 LLM에 약점으로, 인코더의 글로벌 그래프 모델링 한계가 있음을 시사한다.