[论文解读] Text-to-SQL in the Wild: A Naturally-Occurring Dataset Based on Stack Exchange Data

Moshe Hazoom, Vibhor Malik+1 more|arXiv (Cornell University)|Jun 9, 2021

Natural Language Processing Techniques参考文献 25被引用 6

一句话总结

本文提出了 SEDE，一个大规模、真实世界中的 Text-to-SQL 数据集，包含来自 Stack Exchange 的 12,023 个自然发生的 SQL 查询及其对应的自然语言问题。作者提出了一种新颖的评估指标 PCM-F1，以更好地评估模型在复杂、不完整指定及多样化真实世界查询上的表现，结果显示，与在 Spider 等标准基准上训练的最先进模型相比，模型在 SEDE 上的性能差距显著——PCM-F1 仅为 50.6%。

ABSTRACT

Most available semantic parsing datasets, comprising of pairs of natural utterances and logical forms, were collected solely for the purpose of training and evaluation of natural language understanding systems. As a result, they do not contain any of the richness and variety of natural-occurring utterances, where humans ask about data they need or are curious about. In this work, we release SEDE, a dataset with 12,023 pairs of utterances and SQL queries collected from real usage on the Stack Exchange website. We show that these pairs contain a variety of real-world challenges which were rarely reflected so far in any other semantic parsing dataset, propose an evaluation metric based on comparison of partial query clauses that is more suitable for real-world queries, and conduct experiments with strong baselines, showing a large gap between the performance on SEDE compared to other common datasets.

研究动机与目标

• 为了解决现有基准中缺乏真实、自然发生的 Text-to-SQL 数据的问题，这些数据通常为训练和评估而精心筛选。
• 识别并描述真实世界中文本问题及其对应 SQL 查询中的挑战，例如不完整指定、参数化以及复杂子查询。
• 提出一种更合适的评估指标 PCM-F1，该指标可考虑复杂和模糊查询中的部分正确性，而传统精确匹配或指称准确率在此类场景下失效。
• 展示最先进模型在真实世界数据上的表现显著低于在标准学术数据集上的表现，凸显了关键的泛化差距。

提出的方法

• 从 Stack Exchange Data Explorer（SEDE）——一个公开的查询接口——收集 12,023 个真实的 SQL 查询及其自然语言标题/描述。
• 应用查询规范化和匿名化处理，以识别唯一的 SQL 模板，揭示 SEDE 中的唯一模板数量至少是其他数据集的 10 倍。
• 提出 PCM-F1，一种基于部分提取的查询组件（SELECT、WHERE、GROUP BY、ORDER BY）的软精确匹配指标，以更有效地评估模型在复杂和不完整指定查询上的表现。
• 使用在 SEDE 上微调的 T5 基序列到序列模型，结合束搜索推理和模式编码，评估泛化性能。
• 引入 PCM-EM 和 PCM-F1- NoValues 变体，以在 Spider 上验证指标校准性，确保与现有基准的一致性。
• 对模型预测结果进行错误分析，识别与不完整指定、错误日期逻辑及参数处理相关的失败模式。

实验结果

研究问题

• RQ1 真实世界中自然发生的 Text-to-SQL 查询与学术数据集中的查询在复杂性、多样性及语言挑战方面有何不同？
• RQ2 最先进 Text-to-SQL 模型在包含不完整指定、参数和复杂子查询的真实世界查询上的泛化能力如何？
• RQ3 像 PCM-F1 这样的新评估指标是否能比传统精确匹配或指称准确率更准确地反映模型在真实世界查询上的表现？
• RQ4 为何强大模型在 Spider 等基准上表现优异，但在真实世界数据（如 SEDE）上却显著失败？
• RQ5 当前模型在从模糊或不完整的自然语言问题生成 SQL 时，其主要失败模式是什么？

主要发现

• SEDE 包含 12,023 个真实世界查询-语用对，其语用（3-gram 覆盖率）和 SQL 模板（比其他单领域数据集多 10 倍）的多样性显著更高。
• 尽管在 Spider 上最先进模型的 PCM-F1 达到 86.3%，但在 SEDE 上仅达到 50.6%，表明在真实世界设置中存在显著的泛化差距。
• 所提出的 PCM-F1 指标相较于精确匹配或指称准确率，能更准确、更全面地评估模型性能，尤其适用于不完整指定或复杂查询。
• 模型失败通常源于对隐含假设的错误处理（例如，对 ClosedDate 为 NULL 的开放问题进行过滤）、错误的日期逻辑或对参数化条件的误读。
• 即使使用模式编码，性能提升也微乎其微，表明当前模型在自然语言中的语义推理和隐含上下文理解方面仍存在困难。
• PCM-EM 指标在所有模型中均接近 0，证实精确匹配对真实世界查询而言过于严格，从而验证了采用 PCM-F1 等更柔和评估指标的必要性。