[論文レビュー] Retrieval-augmented GPT-3.5-based Text-to-SQL Framework with Sample-aware Prompting and Dynamic Revision Chain

Chunxi Guo, Zhiliang Tian+5 more|arXiv (Cornell University)|Jul 11, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、サンプルに配慮したプロンプトと動的リビジョンチェーンを用いた、GPT-3.5ベースのリtrieval増強型Text-to-SQLフレームワークを提案する。入力質問の単純化と意図に整合する例の検索により、実行結果と説明からのフィードバックを用いてSQLを段階的に改善することで、3つのベンチマークで最先端の性能を達成し、特に複雑なクエリにおいて強力なベースラインを上回る。

ABSTRACT

Text-to-SQL aims at generating SQL queries for the given natural language questions and thus helping users to query databases. Prompt learning with large language models (LLMs) has emerged as a recent approach, which designs prompts to lead LLMs to understand the input question and generate the corresponding SQL. However, it faces challenges with strict SQL syntax requirements. Existing work prompts the LLMs with a list of demonstration examples (i.e. question-SQL pairs) to generate SQL, but the fixed prompts can hardly handle the scenario where the semantic gap between the retrieved demonstration and the input question is large. In this paper, we propose a retrieval-augmented prompting method for a LLM-based Text-to-SQL framework, involving sample-aware prompting and a dynamic revision chain. Our approach incorporates sample-aware demonstrations, which include the composition of SQL operators and fine-grained information related to the given question. To retrieve questions sharing similar intents with input questions, we propose two strategies for assisting retrieval. Firstly, we leverage LLMs to simplify the original questions, unifying the syntax and thereby clarifying the users' intentions. To generate executable and accurate SQLs without human intervention, we design a dynamic revision chain which iteratively adapts fine-grained feedback from the previously generated SQL. Experimental results on three Text-to-SQL benchmarks demonstrate the superiority of our method over strong baseline models.

研究の動機と目的

• 少サンプルプロンプト学習におけるリtrievalバイアスの課題に対処すること。具体的には、入力質問と取得された例との間に意味的ギャップが存在する場合、固定されたデモでは失敗する。
• LLMを用いた動的プロンプト適応により、意図と構造的SQL構成要素の両方を反映するサンプルに配慮したデモを用いることで、Text-to-SQLにおけるゼロショットおよび少サンプル一般化を向上させること。
• データベース相互作用からの細分化されたフィードバックを活用して、繰り返しの改善を可能にすることで、人間の介入なしに実行可能で正確なSQLクエリを生成すること。
• LLMを用いた質問の単純化と質問スケルトンを用いた意図ベースのリtrievalを組み込むことで、複雑なクエリに対するモデルのロバスト性を向上させること。

提案手法

• 入力質問のLLM生成による簡素化版と質問スケルトンを用いて、意図に基づく類似例を検索することで、意味的ギャップを低減する。
• サンプルに配慮したデモは、入力質問の意図に関連するSQLオペレータと細分化された情報を組み合わせることで構築される。
• 動的リビジョンチェーンを導入し、各イテレーションでSQLクエリを、実行結果、自然言語の説明、スキーマ内容からのフィードバックを用いて改善する。
• LLMを用いて元の質問を単純化し、構文を統一し、ユーザーの意図を明確にすることで、リtrievalの効果を高める。
• リtrievalプロセスでは、簡素化された質問と構造的質問スケルトンの両方を活用して、意味的に類似した例を特定し、プロンプトに使用する。
• 動的リビジョンチェーンは繰り返しの改善を実行する：各新しいSQLバージョンは、前のバージョンからのフィードバックに基づいて生成され、自己修正が可能になる。

実験結果

リサーチクエスチョン

• RQ1 LLMを用いた質問の単純化は、少サンプルText-to-SQLプロンプトにおける意味的に類似した例の検索を改善できるか？
• RQ2 SQL構造と意図を組み合わせたサンプルに配慮したデモを組み込むことで、LLMベースのText-to-SQLにおける少サンプル一般化はどのように向上するか？
• RQ3 細分化されたフィードバックを用いた動的リビジョンチェーンは、複雑なクエリにおけるSQL実行の正確性をどの程度向上させ、エラーを削減できるか？
• RQ4 提案されたフレームワークは、特に困難で超困難なクエリカテゴリにおいて、強力なベースラインを上回るか？

主な発見

• 提案手法は、Spider、Spider-SYN、Spider-DKの3つのText-to-SQLベンチマークすべてで強力なベースラインモデルを上回り、特に困難および超困難なクエリレベルで顕著な優位性を示した。
• Spider-DKデータセットでは、動的リビジョンチェーンを適用した場合、簡単なクエリで13.6%、困難なクエリで11.0%の実行正確性の向上が見られた。
• アブレーションスタディの結果、単純化モジュールまたはリビジョンモジュールのいずれかを削除すると顕著な性能低下が生じ、単純化モジュールが簡単なクエリの改善に最も寄与しており、Spider-DKでは12.5%の低下が確認された。
• 動的リビジョンチェーンは後続のイテレーションで最も大きな利益をもたらし、Spider-SYNおよびSpider-DKでは第2イテレーションが第1イテレーションよりも高い正確性向上を示しており、段階的改善が行われていることが示された。
• ケーススタディでは、モデルが正確にカラム値（例：「フランス国籍」）を特定し、GROUP BYが欠落している場合のCOUNT()の誤用といったエラーを自己修正できることを示した。他のモデルでは同様の誤りを解消できなかった。
• モデルは最先端の性能を達成しており、特に複雑なクエリで最大の向上が確認された。これは、現実世界の挑戦的で複雑なText-to-SQLシナリオに対処する有効性を裏付けている。