[논문 리뷰] ChatDB: Augmenting LLMs with Databases as Their Symbolic Memory

Chenxu Hu, Jie Fu외 4명|arXiv (Cornell University)|2023. 06. 06.

Topic Modeling인용 수 13

한 줄 요약

ChatDB는 외부 기호 기억으로 관계형 데이터베이스를 활용하여 LLM의 다중 홉 추론을 SQL로 수행하고, 합성 과일 가게 데이터셋에서 ChatGPT보다 크게 우수합니다.

ABSTRACT

Large language models (LLMs) with memory are computationally universal. However, mainstream LLMs are not taking full advantage of memory, and the designs are heavily influenced by biological brains. Due to their approximate nature and proneness to the accumulation of errors, conventional neural memory mechanisms cannot support LLMs to simulate complex reasoning. In this paper, we seek inspiration from modern computer architectures to augment LLMs with symbolic memory for complex multi-hop reasoning. Such a symbolic memory framework is instantiated as an LLM and a set of SQL databases, where the LLM generates SQL instructions to manipulate the SQL databases. We validate the effectiveness of the proposed memory framework on a synthetic dataset requiring complex reasoning. The project website is available at https://chatdatabase.github.io/ .

연구 동기 및 목표

• 메모리 보강 LLM이 정확한 기록 데이터를 조작하기 위해 구조화된 기호 기억을 활용하도록 동기를 부여합니다.
• LLM 제어기가 외부 데이터베이스에 저장 및 조회할 히스토리 SQL 작업을 지시하는 프레임워크를 제안합니다.
• 복잡한 추론을 메모리 작업 단계로 분해하기 위한 기억의 연결 고리 체인(chain-of-memory)을 도입합니다.
• 합성 데이터셋에서 다중 홉 추론 개선 및 오류 누적 감소를 입증합니다.

제안 방법

• LLM 제어기와 MySQL 기반 외부 기호 기억(데이터베이스)으로 구성된 프레임워크.
• 메모리를 조작하기 위한 중간 메모리 작업 단계(SQL)의 생성.
• 데이터베이스에서 SQL 작업을 실행하고 결과를 모델로 피드백합니다.
• 메모리 연쇄(chain-of-memory): 중간 결과를 기반으로 메모리 작업을 반복적으로 업데이트한 후 최종 응답 요약을 제공합니다.
• 메모리 조작 과정을 강화하기 위한 맥락 내 예시 및 사고 과정을 활용한 프롬프트를 사용합니다.
• ChatDB와 ChatGPT를 비교하는 50문항 벤치마크로 합성 과일 가게 데이터셋에서 평가합니다.

실험 결과

연구 질문

• RQ1 외부 기호 기억을 데이터베이스를 통해 도입하면 LLM의 다중 홉 추론이 향상됩니까?
• RQ2 기호 기억은 삽입/업데이트/삭제/선택과 같은 정확한 데이터 조작을 뉴럴 메모리와 비교해 어떻게 가능하게 하는가?
• RQ3 체인 오브 메모리 분해가 장기간 추론 작업에서 오류 누적을 줄일 수 있습니까?
• RQ4 메모리와 계산을 요구하는 쉬운 문제와 어려운 문제에서 ChatDB가 강력한 기준선 대비 어떻게 수행합니까?

주요 결과

모델	쉬움	어려움	전체	정확도
ChatGPT	10/15	1/35	11/50	22%
ChatDB (ours)	13/15	28/35	41/50	82%

• ChatDB는 과일 가게 데이터셋에서 베이스라인인 ChatGPT보다 상당히 우수합니다(전체: 41/50 대 11/50; 정확도 82% 대 22%).
• ChatDB는 어려운 다중 홉 질문에서 훨씬 높은 정확도(Hard: 28/35)로 ChatGPT(1/35)보다 우수합니다.
• 메모리 연산은 SQL을 통해 기호적으로 수행되어 데이터 조작(삽입/업데이트/삭제/선택)이 가능해집니다.
• 기억의 연쇄(chain-of-memory)가 작업을 중간 단계로 분해하여 추론의 안정성과 오류 누적 감소를 개선합니다.
• 구조화된 데이터베이스 기억과 타임스탬프가 있는 연산을 통해 해석 가능성과 상태 추적을 유지합니다.