[論文レビュー] UNITE: A Unified Benchmark for Text-to-SQL Evaluation

Wuwei Lan, Zhiguo Wang+16 more|arXiv (Cornell University)|May 25, 2023

Natural Language Processing Techniques被引用数 9

ひとこと要約

UNITEは18個の公的テキスト-to-SQLデータセットを統合し、97kのトレーニング例と27kのテスト例を29kのデータベースに跨る統一ベンチマークとして提供。データベース横断的な汎化とロバスト性を要求し、評価ではSOTAモデルの汎化が限定的で、Codexのイン-context学習によるドメイン外での強い性能が示唆される。

ABSTRACT

A practical text-to-SQL system should generalize well on a wide variety of natural language questions, unseen database schemas, and novel SQL query structures. To comprehensively evaluate text-to-SQL systems, we introduce a UNIfied benchmark for Text-to-SQL Evaluation (UNITE). It is composed of publicly available text-to-SQL datasets, containing natural language questions from more than 12 domains, SQL queries from more than 3.9K patterns, and 29K databases. Compared to the widely used Spider benchmark, we introduce $\sim$120K additional examples and a threefold increase in SQL patterns, such as comparative and boolean questions. We conduct a systematic study of six state-of-the-art (SOTA) text-to-SQL parsers on our new benchmark and show that: 1) Codex performs surprisingly well on out-of-domain datasets; 2) specially designed decoding methods (e.g. constrained beam search) can improve performance for both in-domain and out-of-domain settings; 3) explicitly modeling the relationship between questions and schemas further improves the Seq2Seq models. More importantly, our benchmark presents key challenges towards compositional generalization and robustness issues -- which these SOTA models cannot address well. Our code and data processing script are available at https://github.com/awslabs/unified-text2sql-benchmark

研究の動機と目的

• 多様なドメイン、スキーマ、NLQパターン、SQL構造を網羅するテキスト-to-SQLの包括的ベンチマークを提供する。
• これまで断片化されていたデータセット間で apples-to-apples の評価を可能にする。
• インドメインおよびアウトオブドメインタスクにおけるSOTAモデルの性能を分析し、組み合わせ一般化とスキーマ連携といった主要なボトルネックを特定する。

提案手法

• 18個の公的テキスト-to-SQLデータセットを統一した JSONL/SQLite ベースのフォーマットに集約する。
• NLQ/SQLのペアを、元の表/列名とクレン済み名を含む共通スキーマ表現に変換する。
• 各例に対してデータベース識別子、質問、SQLクエリの三つのフィールドを提供し、JSONでスキーマの詳細を保持する。
• Codex、UL-20B、T5-3B、RASAT、SmBoP、PICARD を含む六つのSOTAモデルを、適用可能なゼロショット・Few-shot設定で評価する。
• 予測SQLと正解SQLをデータベース上で実行させることで、実行正確度を主要指標として適用する。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様な跨データベースベンチマークに対して、最先端のテキスト-to-SQLモデルはどの程度汎化するか。
• RQ2 SpiderとUNITEでのトレーニングが、インドメインおよびアウトオブドメイン評価にどのような影響を及ぼすか。
• RQ3 制約付きビームサーチなどのデコーディング戦略や関係認識スキーマモデリングは、跨ドメイン性能を改善できるか。
• RQ4 大規模言語モデルベースの推論（例: Codex）は、ファインチューニング済みモデルと比較してアウトオブドメインデータでどうなるか。
• RQ5 既存のSOTAモデルには、組み合わせ一般化と堅牢性の課題がどの程度残っているか。

主な発見

• UNITEは現存する中で最大級のテキスト-to-SQLベンチマークで、97kのトレーニング例と27kのテスト例を29kデータベースに跨る。
• 六つのSOTAパーサはUNITE上で平均して50%未満の精度であり、実世界の汎化が限定的であることを浮き彫りにしている。
• Codexのイン-context学習は、評価対象モデルの中で最もアウトオブドメイン性能が高い。
• カスタマイズされたデコoding（例: 制約付きビームサーチ）は、インドメイン・アウトオブドメイン両方の設定でSeq2Seqモデルの性能を向上させる。
• 関係認識スキーマモデリング（例: 関係認識自己注意）は、ベースラインのSeq2Seqアプローチより利益を生む。
• UNITEは、現在のSOTA手法が完全には対処していない堅牢性と組合せ一般化のギャップを明らかにする。