[論文レビュー] Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows

Fangyu Lei, Jixuan Chen+14 more|arXiv (Cornell University)|Nov 12, 2024

Business Process Modeling and AnalysisBusiness, Management and Accounting被引用数 3

ひとこと要約

Spider 2.0 は、実際の企業データベースから抽出された 632 個の複雑なワークフローを含む、実世界の企業向けテキストtoSQLベンチマークを導入した。大規模なスキーマ（平均 812 列）、多様な SQL ディアレクト、複数ステップのデータエンジニアリングタスクを特徴とする。o1-preview などの先進的な LLM でさえも、タスクのわずか 21.3% のみが正しく解決されたことから、実際の企業環境における性能に顕著なギャップが存在することが示された。

ABSTRACT

Real-world enterprise text-to-SQL workflows often involve complex cloud or local data across various database systems, multiple SQL queries in various dialects, and diverse operations from data transformation to analytics. We introduce Spider 2.0, an evaluation framework comprising 632 real-world text-to-SQL workflow problems derived from enterprise-level database use cases. The databases in Spider 2.0 are sourced from real data applications, often containing over 1,000 columns and stored in local or cloud database systems such as BigQuery and Snowflake. We show that solving problems in Spider 2.0 frequently requires understanding and searching through database metadata, dialect documentation, and even project-level codebases. This challenge calls for models to interact with complex SQL workflow environments, process extremely long contexts, perform intricate reasoning, and generate multiple SQL queries with diverse operations, often exceeding 100 lines, which goes far beyond traditional text-to-SQL challenges. Our evaluations indicate that based on o1-preview, our code agent framework successfully solves only 21.3% of the tasks, compared with 91.2% on Spider 1.0 and 73.0% on BIRD. Our results on Spider 2.0 show that while language models have demonstrated remarkable performance in code generation -- especially in prior text-to-SQL benchmarks -- they require significant improvement in order to achieve adequate performance for real-world enterprise usage. Progress on Spider 2.0 represents crucial steps towards developing intelligent, autonomous, code agents for real-world enterprise settings. Our code, baseline models, and data are available at https://spider2-sql.github.io

研究の動機と目的

• ベンチマークのパフォーマンスと実際の企業向けテキストtoSQL要件との間のギャップを是正すること。
• 大規模データベース、複数のディアレクト、複雑な推論を含む産業界のデータワークフローを反映する現実的な評価フレームワークを構築すること。
• LLM がメタデータ、ドキュメンテーション、コードベース、複数クエリのワークフローを適切に処理できる能力を評価すること。
• スケーラブルで生産環境向けのベンチマークを提供し、企業データシステム向け自律的コードエージェントの開発を支援すること。

提案手法

• Salesforce や Google Analytics などの実際の企業アプリケーションから、実際の企業用データベーススキーマを用いて 632 個の実世界のテキストtoSQLタスクを収集した。
• BigQuery、Snowflake、SQLite、DuckDB などの実システムからデータベースを取得し、平均スキーマサイズは 812 列であった。
• ドキュメンテーション、チュートリアル、オープンソースプロジェクトを通じて、多様な SQL ディアレクト（例：Google SQL、Snowflake SQL）を統合した。
• データベースメタデータ、プロジェクトコードベース（例：dbt）および外部ドキュメンテーションにアクセス可能な構造化された環境を設計した。
• SQL 実行、ファイル編集、Bash コマンド、テーブルメタデータ取得などのアクションを備えたコードエージェントフレームワークを実装した。
• 正しい出力形式（CSV またはテキスト）、完全なワークフロー実行、YAML 定義との検証を要件とする厳密な評価プロトコルを定義した。

実験結果

リサーチクエスチョン

• RQ1 現在の LLM は、複雑で複数ステップのデータエンジニアリングパイプラインを含む実世界の企業向けテキストtoSQLワークフローにどの程度一般化できるか？
• RQ2 大規模スキーマ、ディアレクト固有の関数、外部ドキュメンテーションを跨いで推論を要する状況で、LLM のパフォーマンスはどのようになるか？
• RQ3 長文脈推論および複数クエリ生成（通常 100 行以上）が、現実的な企業環境におけるモデルパフォーマンスに与える影響は何か？
• RQ4 LLM はプロジェクトレベルのコードベース（例：dbt）をどの程度適切に処理でき、スキーマ定義との整合性を検証できるか？
• RQ5 従来のベンチマークには見られないが、企業向けテキストtoSQLワークフローで顕在化する主な失敗モードは何か？

主な発見

• コードエージェントフレームワークを用いた o1-preview モデルが、タスクのわずか 21.3% のみを正しく解決した。これは、実世界の環境における顕著なパフォーマンスギャップを示している。
• Spider 1.0 での 91.2%、BIRD での 73.0% と比較すると、企業向けワークフローの複雑さが著しく増加していることが明らかになった。
• 正解の平均 SQL クエリは 144 ターゲットを含み、ST_DISTANCE などの高度な関数が含まれており、構文的・意味論的複雑性が極めて高い。
• 成功した解決には、単なる質問からSQLへのマッピングをはるかに超える、メタデータ、ドキュメンテーション、コードベースとの広範な相互作用が必要だった。
• モデルは出力形式の検証に頻繁に失敗しており、最終的な CSV やテキスト結果ではなく中間の SQL を返すケースが多かった。
• クエリ実行後も、特に dbt ベースのプロジェクトでは、結果がスキーマ定義と整合しているかを検証する能力に欠けていた。