[論文レビュー] Interleaving Pre-Trained Language Models and Large Language Models for Zero-Shot NL2SQL Generation

Zihui Gu, Ju Fan+8 more|arXiv (Cornell University)|Jun 15, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文では、ゼロショットNL2SQL生成のため、事前学習言語モデル（PLM）と大規模言語モデル（LLM）を交互に使用するZeroNL2SQLというフレームワークを提案する。まず、スキーマアライメントによりPLMを用いてSQLスケッチを生成し、次に複雑な推論を用いてLLMでスケッチを完成させる。述語キャリブレーションと実行ベース選択により、精度が向上する。この手法は、実世界のベンチマークにおいて最先端の実行精度を達成し、SOTAのPLMベース手法より3.2–13%、LLMベース手法より10–20%優れている。

ABSTRACT

Zero-shot NL2SQL is crucial in achieving natural language to SQL that is adaptive to new environments (e.g., new databases, new linguistic phenomena or SQL structures) with zero annotated NL2SQL samples from such environments. Existing approaches either fine-tune pre-trained language models (PLMs) based on annotated data or use prompts to guide fixed large language models (LLMs) such as ChatGPT. PLMs can perform well in schema alignment but struggle to achieve complex reasoning, while LLMs is superior in complex reasoning tasks but cannot achieve precise schema alignment. In this paper, we propose a ZeroNL2SQL framework that combines the complementary advantages of PLMs and LLMs for supporting zero-shot NL2SQL. ZeroNL2SQL first uses PLMs to generate an SQL sketch via schema alignment, then uses LLMs to fill the missing information via complex reasoning. Moreover, in order to better align the generated SQL queries with values in the given database instances, we design a predicate calibration method to guide the LLM in completing the SQL sketches based on the database instances and select the optimal SQL query via an execution-based strategy. Comprehensive experiments show that ZeroNL2SQL can achieve the best zero-shot NL2SQL performance on real-world benchmarks. Specifically, ZeroNL2SQL outperforms the state-of-the-art PLM-based methods by 3.2% to 13% and exceeds LLM-based methods by 10% to 20% on execution accuracy.

研究の動機と目的

• 注釈付き学習データが利用できない新しい環境におけるゼロショットNL2SQLの課題に対処すること。
• 既存のPLMベース手法の複雑な推論における限界と、LLMベース手法のスキーマアライメントにおける限界を克服すること。
• 微調整なしに、多様なデータベース、言語的現象、SQL構造に対して堅牢なNL2SQL生成を可能にすること。
• インスタンスに依存するキャリブレーションにより、自然言語の質問と実際のデータベース値との整合性を高めること。
• PLMとLLMの長所を二段階パイプラインで組み合わせることで、ゼロショット環境における高い実行精度を達成すること。

提案手法

• 自然言語の質問とデータベーススキーマの間のスキーマアライメントを実行することで、微調整済みの事前学習言語モデル（PLM）を用いてSQLスケッチを生成する。
• 質問とスキーマに対する複雑な推論を実行することで、固定で凍結された大規模言語モデル（LLM）を用いてSQLスケッチを完成させる。
• 意味的マッチング（例：SBERT）を用いてデータベースインスタンス内の実際の値と一致させる述語キャリブレーション手法を導入する。
• 列内、データベース内、およびマルチレベルの値マッチングを組み合わせたマルチレベルマッチング戦略を採用し、述語の正確性を向上させる。
• LLMが生成した複数の候補からSQLクエリを実行して評価し、最適なクエリを選択する実行ベース戦略を適用する。
• 述語キャリブレーションにおける意味的類似度計算にSBERTを用い、GloVeやファジーマッチング手法を上回る性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 PLMとLLMを組み合わせたハイブリッドフレームワークは、純粋にPLMベースまたはLLMベースの手法と比較して、優れたゼロショットNL2SQL性能を達成できるか？
• RQ2 PLMは、ゼロショット環境において、スキーマアライメントのための正確なSQLスケッチを効果的に生成できるか？
• RQ3 PLMが生成したスケッチに従って、LLMが複雑な推論を用いてSQLスケッチを完成させられる程度はどの程度か？
• RQ4 データベースインスタンスに基づく述語キャリブレーションは、ゼロショットNL2SQLにおけるSQLの正確性をどの程度向上させるか？
• RQ5 実行ベース選択と意味的マッチング（例：SBERT）は、生成されたSQLクエリの堅牢性と正確性を顕著に向上させられるか？

主な発見

• ZeroNL2SQLは、実世界のNL2SQLベンチマークで最先端の実行精度を達成し、SOTAのPLMベース手法より3.2%から13%優れている。
• フレームワークは、SOTAのLLMベース手法よりも実行精度で10%から20%優れており、優れたゼロショット一般化性能を示している。
• SBERTを用いた述語キャリブレーションにより、平均実行精度が78.5%に向上し、ファジーマッチング（77.2%）やGloVe（76.3%）を顕著に上回った。
• 述語キャリブレーションにおけるマルチレベルマッチング戦略は、平均実行精度78.5%を達成し、多様な値タイプにわたる堅牢性を示した。
• 二段階パイプライン（PLMによるスケッチ生成とLLMによる完成）は、スキーマアライメントと複雑な推論の両方を効果的にバランスさせた。
• 実行ベース選択は、誤ったSQLクエリを効果的にフィルタリングし、実際にデータベースインスタンスで検証することで最終的な精度を向上させた。