[論文レビュー] ChatDB: Augmenting LLMs with Databases as Their Symbolic Memory

Chenxu Hu, Jie Fu+4 more|arXiv (Cornell University)|Jun 6, 2023

Topic Modeling被引用数 13

ひとこと要約

ChatDB は LLM の外部象徴メモリとしてリレーショナルデータベースを使用し、メモリの連鎖を用いて SQL によるマルチホップ推論を実行し、合成果物店データセットで ChatGPT を大幅に上回る。

ABSTRACT

Large language models (LLMs) with memory are computationally universal. However, mainstream LLMs are not taking full advantage of memory, and the designs are heavily influenced by biological brains. Due to their approximate nature and proneness to the accumulation of errors, conventional neural memory mechanisms cannot support LLMs to simulate complex reasoning. In this paper, we seek inspiration from modern computer architectures to augment LLMs with symbolic memory for complex multi-hop reasoning. Such a symbolic memory framework is instantiated as an LLM and a set of SQL databases, where the LLM generates SQL instructions to manipulate the SQL databases. We validate the effectiveness of the proposed memory framework on a synthetic dataset requiring complex reasoning. The project website is available at https://chatdatabase.github.io/ .

研究の動機と目的

• メモリを強化した LLM に対し、構造化された象徴的メモリを活用して履歴データを正確に操作する動機付け。
• LLM コントローラが外部データベースへ SQL 操作を発行し、履歴を格納・照会するフレームワークを提案。
• チェーン・オブ・メモリを導入し、複雑な推論をメモリ操作ステップへ分解。
• 合成データセットを用いた多段推論の改善と、長期的な誤差蓄積の低減を実証。

提案手法

• LLM コントローラと MySQL ベースの外部象徴メモリ（データベース）から成るフレームワーク。
• メモリを操作する中間的なメモリ操作ステップ（SQL）を LLM が生成。
• データベース上で SQL 操作を実行し、結果をモデルへフィードバック。
• チェーン・オブ・メモリ：中間結果に基づくメモリ操作を反復的に更新し、最終応答要約へとつなぐ。
• メモリ操作の強化のためのインコンテキストの示例とチェイン・オブ・思考 prompting の使用。
• ChatDB を ChatGPT と比較する 50 問のベンチマークを用いた合成フルーツショップデータセットでの評価。

実験結果

リサーチクエスチョン

• RQ1 外部の象徴メモリ（データベース）を導入することで LLM のマルチホップ推論は向上するか？
• RQ2 象徴的メモリは neural memory と比較して、挿入・更新・削除・選択といったデータ操作を正確に可能にするか？
• RQ3 チェーン・オブ・メモリの分解は長期的な推論タスクにおける誤差蓄積を減らせるか？
• RQ4 ChatDB は、記憶と計算を要する易しい問題と難しい問題において、強力なベースラインと比較してどうなるか？

主な発見

Model	Easy	Hard	All	Accuracy
ChatGPT	10/15	1/35	11/50	22%
ChatDB (ours)	13/15	28/35	41/50	82%

• ChatDB は果物店データセットでベースラインの ChatGPT を大幅に上回る（全体: 41/50 対 11/50；精度 82% 対 22%）。
• ChatDB は難しいマルチホップ質問に対して ChatGPT よりはるかに高い精度を示す（Hard: 28/35 対 1/35）。
• メモリ操作は SQL を介して象徴的に行われ、データ操作（insert/update/delete/select）を正確に可能にする。
• チェーン・オブ・メモリはタスクを中間ステップへ分解し、推論の安定性を高め、誤差蓄積を減少させる。
• このアプローチは、構造化データベースメモリとタイムスタンプ付き操作による解釈性と状態追跡を維持する。