[论文解读] Dr.Spider: A Diagnostic Evaluation Benchmark towards Text-to-SQL Robustness

Shuaichen Chang, Jun Wang+14 more|arXiv (Cornell University)|Jan 21, 2023

Topic Modeling被引用 8

一句话总结

Dr.Spider 为 text-to-SQL 引入了全面的鲁棒性基准，涵盖 17 种跨数据库、自然语言查询和 SQL 的扰动类型，显示最先进的模型在扰动下仍然会显著下降性能。

ABSTRACT

Neural text-to-SQL models have achieved remarkable performance in translating natural language questions into SQL queries. However, recent studies reveal that text-to-SQL models are vulnerable to task-specific perturbations. Previous curated robustness test sets usually focus on individual phenomena. In this paper, we propose a comprehensive robustness benchmark based on Spider, a cross-domain text-to-SQL benchmark, to diagnose the model robustness. We design 17 perturbations on databases, natural language questions, and SQL queries to measure the robustness from different angles. In order to collect more diversified natural question perturbations, we utilize large pretrained language models (PLMs) to simulate human behaviors in creating natural questions. We conduct a diagnostic study of the state-of-the-art models on the robustness set. Experimental results reveal that even the most robust model suffers from a 14.0% performance drop overall and a 50.7% performance drop on the most challenging perturbation. We also present a breakdown analysis regarding text-to-SQL model designs and provide insights for improving model robustness.

研究动机与目标

• 评估文本到 SQL 模型在数据库、自然语言问题和 SQL 查询等任务特定扰动下的鲁棒性。
• 提供多样且语言丰富的扰动集合，以揭示现有基准未捕捉的薄弱环节。
• 分析模型结构、规模和解码策略如何影响鲁棒性。
• 为设计更鲁棒的文本到 SQL 系统提供见解和实用指南。

提出的方法

• 基于 Spider 基准挑选涵盖数据库、NLQ 和 SQL 扰动的 17 种扰动。
• 使用三个扰动原则：任务特异性、语言丰富性和诊断性覆盖。
• 利用 PLMs（OPT 66B）生成有类别的 NLQ 复述，辅以专家众包和自动过滤。
• 以编程方式修改数据库模式/内容及相应的 SQL 以创建扰动。
• 扰动 SQL 词元和 NLQ 指示符，同时尽量减少表层 NLQ 变化以隔离语义效应。
• 在扰动前后使用前扰动与后扰动指标（EX 和 EM）评估最先进的文本到 SQL 模型（RatSQL、GraPPa、SmBop、T5 系列、Picard、Codex）。

实验结果

研究问题

• RQ1 leading text-to-SQL 模型在数据库模式/内容、NLQ 和 SQL 本身的扰动下有多鲁棒？
• RQ2 哪些扰动类别最显著降低模型性能，且这种影响如何随模型架构和规模变化？
• RQ3 解码器架构（自顶向下 vs 自底向上）和实体连结特征是否影响鲁棒性？
• RQ4 哪些策略可以提升鲁棒性，如结合解码器或改进数值链接？
• RQ5 生成的 NLQ 扰动在质量和有效性方面与人工撰写的扰动相比如何？

主要发现

• 最先进模型在扰动下表现大幅下降，平均性能下降约 14.0%，最困难扰动的下降幅度高达 50.7%。
• Dr.Spider 揭示了跨数据库、NLQ 和 SQL 扰动的脆弱性，且较大模型通常更具鲁棒性。
• 自底向上的解码器（SmBop）在数据库扰动鲁棒性方面表现更好，而自顶向下的解码器（GraPPa）在 NLQ 扰动下表现出色。
• 实体链接问答标记与数据库内容之间的连结在某些扰动下（尤其是数值预测）提升鲁棒性，但可能因过度依赖字符串匹配而略微降低 EM。
• 数值层面的扰动（value-synonym）带来显著挑战，凸显词汇对齐方法的局限性以及对更深层语义理解的需求。
• 扰动框架在任务特定语言丰富性与诊断覆盖之间取得了平衡，提供比以往研究更自然、更多样的鲁棒性评估。