[論文レビュー] MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL

Bing Wang, Changyu Ren+9 more|arXiv (Cornell University)|Dec 18, 2023

Scientific Computing and Data Management被引用数 6

ひとこと要約

MAC-SQLは、チェーン・オブ・チョンク・リーダーリングを実行するデコンポーザー・エージェント、サブデータベース抽出を行うセレクタ・エージェント、外部ツールを用いたSQL検証および是正を行うリファイナー・エージェントを備えた、テキストからSQLへの変換のためのマルチエージェント協調フレームワークを提案する。GPT-4を用いてBIRDベンチマークで59.59%の新しい最良実行精度を達成し、大規模で現実的で複雑なデータベースにおいて優れた性能を示している。

ABSTRACT

Recent LLM-based Text-to-SQL methods usually suffer from significant performance degradation on "huge" databases and complex user questions that require multi-step reasoning. Moreover, most existing methods neglect the crucial significance of LLMs utilizing external tools and model collaboration. To address these challenges, we introduce MAC-SQL, a novel LLM-based multi-agent collaborative framework. Our framework comprises a core decomposer agent for Text-to-SQL generation with few-shot chain-of-thought reasoning, accompanied by two auxiliary agents that utilize external tools or models to acquire smaller sub-databases and refine erroneous SQL queries. The decomposer agent collaborates with auxiliary agents, which are activated as needed and can be expanded to accommodate new features or tools for effective Text-to-SQL parsing. In our framework, We initially leverage GPT-4 as the strong backbone LLM for all agent tasks to determine the upper bound of our framework. We then fine-tune an open-sourced instruction-followed model, SQL-Llama, by leveraging Code Llama 7B, to accomplish all tasks as GPT-4 does. Experiments show that SQL-Llama achieves a comparable execution accuracy of 43.94, compared to the baseline accuracy of 46.35 for vanilla GPT-4. At the time of writing, MAC-SQL+GPT-4 achieves an execution accuracy of 59.59 when evaluated on the BIRD benchmark, establishing a new state-of-the-art (SOTA) on its holdout test set (https://github.com/wbbeyourself/MAC-SQL).

研究の動機と目的

• 大規模なデータベースおよび複雑で複数ステップにわたる質問において、LLMベースのテキストからSQLへの変換手法の性能低下を是正すること。
• 既存手法が外部ツールや協調的推論を活用する能力に制限を受ける問題を克服すること。
• 専門的なエージェントがSQL生成における異なるサブタスクを担当する、モジュラーで拡張可能なフレームワークを設計すること。
• GPT-4の性能を模倣できるように、オープンソースの7BモデルであるSQL-Llamaを微調整すること。
• マルチエージェント協調によって、BIRDベンチマークで新たなSOTA結果を確立すること。

提案手法

• フレームワークは、質問の分解とチェーン・オブ・チョンクSQL生成を担当するデコンポーザー、ノイズを低減するための関連するサブデータベースを抽出するセレクタ、外部ツールを用いて実行および是正を行うリファイナーという3つの専門的エージェントを採用する。
• デコンポーザーは、少量の例を用いたチェーン・オブ・チョンクプロンプトを用いて、SQL生成の前に段階的な推論を実行する。
• セレクタは、質問に基づいて動的に大規模なデータベースを簡略化し、関連するテーブルやカラムを分離する。
• リファイナーは、外部SQL実行エンジンを用いて生成されたクエリを検証し、フィードバックをもとに繰り返しエラーを是正する。
• プラグイン拡張性を備えており、要件の変化に応じて新しいツールやエージェントの統合が可能である。
• BIRDとSpiderから得たインstructチューニングデータセットを用いて、オープンソースのSQL-Llama（7B）モデルを微調整し、GPT-4のエージェント行動を再現する。

実験結果

リサーチクエスチョン

• RQ1 高スケーラビリティと高いスキーマ複雑性を有する現実的で複雑なデータベースにおいて、マルチエージェント協調フレームワークがテキストからSQLへの変換性能を向上させられるか？
• RQ2 外部ツールの使用と組み合わせたチェーン・オブ・チョンク推論は、SQL生成エラーをどれほど低減できるか？
• RQ3 微調整された7BオープンソースLLMは、マルチエージェントテキストからSQLパイプラインにおいてGPT-4の性能にどの程度近づけるか？
• RQ4 サブデータベース選択は、大規模なデータベースにおける不要なスキーマ要素からの干渉を顕著に低減するか？
• RQ5 モジュラーなエージェントアーキテクチャは、多様なエラー種別に一般化可能であり、新しいツールの統合をサポートできるか？

主な発見

• MAC-SQL+GPT-4は、BIRDベンチマークのホールドアウトテストセットで59.59%の新しいSOTA実行精度を達成した。
• 微調整済みのSQL-Llama（7B）モデルは43.94%の実行精度を達成し、GPT-4のベースライン（46.35%）に近く近づいた。
• 本フレームワークは、従来手法と比較して、スキーマリンクエラーを顕著に低減し、複雑で複数ステップにわたる質問に対する耐性を向上させた。
• リファイナー・エージェントによる外部ツールの使用により、フィードバック駆動のSQL是正が効果的に実現され、実行エラーが低減した。
• モジュラーなエージェント設計により、動的なアクティベートと拡張性が可能となり、新しいツールや推論モジュールの統合が可能になった。
• リリースされたエージェントインstructデータセットとSQL-Llamaモデルは、協調的テキストからSQL分野における再現可能でオープンソースの研究基盤を提供する。