[논문 리뷰] StructGPT: A General Framework for Large Language Model to Reason over Structured Data

Jinhao Jiang, Kun Zhou외 4명|arXiv (Cornell University)|2023. 05. 16.

Topic Modeling인용 수 8

한 줄 요약

StructGPT는 Iterative Reading-then-Reasoning (IRR) 프레임워크를 도입하여 구조화된 데이터(KG, 표, DB)를 읽는 전문 인터페이스를 사용하고, 수집된 증거에 대해 LLM이 추론하도록 하여 구조화된 데이터에 대한 제로샷 및 페어샷 QA를 개선한다.

ABSTRACT

In this paper, we study how to improve the zero-shot reasoning ability of large language models~(LLMs) over structured data in a unified way. Inspired by the study on tool augmentation for LLMs, we develop an \emph{Iterative Reading-then-Reasoning~(IRR)} approach for solving question answering tasks based on structured data, called extbf{StructGPT}. In our approach, we construct the specialized function to collect relevant evidence from structured data (\ie \emph{reading}), and let LLMs concentrate the reasoning task based on the collected information (\ie \emph{reasoning}). Specially, we propose an \emph{invoking-linearization-generation} procedure to support LLMs in reasoning on the structured data with the help of the external interfaces. By iterating this procedures with provided interfaces, our approach can gradually approach the target answer to a given query. Extensive experiments conducted on three types of structured data demonstrate the effectiveness of our approach, which can significantly boost the performance of ChatGPT and achieve comparable performance against the full-data supervised-tuning baselines. Our codes and data are publicly available at~\url{https://github.com/RUCAIBox/StructGPT}.

연구 동기 및 목표

• 구조화된 데이터에 대한 작업 특화 미세조정 없이 LLM 추론을 개선하는 동기를 부여한다.
• KG, 표 및 DB 데이터에 대해 인터페이스-강화된 IRR 프레임워크(StructGPT)를 제안한다.
• 구조화된 데이터를 읽기 위한 태스크 특화 인터페이스와 반복 추론을 위한 호출-선형화-생성 절차를 설계한다.

제안 방법

• KG, 표, 데이터베이스 데이터에 대해 정밀한 데이터 접근과 필터링을 가능하게 하는 전문 인터페이스를 정의한다.
• LLMs가 인터페이스를 통해 읽고, 추출된 증거를 선형화하며, 정답 또는 SQL을 생성하는 호출-선형화-생성 루프를 개발한다.
• 선정된 증거와 선형화된 정보를 바탕으로 증거 선택 및 정답 생성을 이끄는 두 가지 프롬프트 스타일을 사용한다.
• KGQA, TableQA, Text-to-SQL 태스크에 대해 데이터 흐름과 인터페이스를 매핑하는 IRR를 구체화한다.
• 기본 LLM 대비 8개 데이터셋에서 제로샷 및 페어샷에서의 개선을 시연한다.

실험 결과

연구 질문

• RQ1 구체적Fine-tuning 없이 단일 프레임워크에서 구조화된 데이터를 어떻게 추론할 수 있는가?
• RQ2 인터페이스 기반 읽기와 반복 추론을 결합하면 KGQA, TableQA, Text-to-SQL의 성능이 향상되는가?
• RQ3 다양한 구조화 데이터 타입에서 IRR의 제로샷 및 페어샷 설정에서의 이득은 얼마인가?

주요 결과

• StructGPT와 함께한 제로샷 및 페어샷 IRR은 직접 LLM 사용과 비교했을 때 WebQSP 및 MetaQA 데이터셋에서 KGQA Hits@1를 개선한다.
• IRR은 Davinci-003 및 ChatGPT 모두에서 WTQ, WikiSQL, TabFact 데이터셋에 대해 표QA 표기 정확도와 정확도를 일관되게 향상시킨다.
• Text-to-SQL에서 IRR은 Spider 변형들에서 실행 정확도를 더 높이며, 특히 페어샷 프롬프트에서 두드러진다.
• 세 가지 데이터 타입(KG, 표, DB)에서 IRR은 모델 미세조정 없이 직접 프롘트에 비해 현저한 성능 향상을 보인다.
• 오류 분석은 선택 및 추론을 핵심 병목으로 식별하여 향후 프롬프트 및 인터페이스 개선의 방향을 제시한다.