[论文解读] Dataset for a Neural Natural Language Interface for Databases (NNLIDB)

Florin Brad, Radu Iacob+2 more|arXiv (Cornell University)|Jul 11, 2017

Natural Language Processing Techniques参考文献 19被引用 12

一句话总结

本文介绍了SENLIDB数据集，这是一个从Stack Exchange提取的大型语料库，包含24,890对（自然语言描述，SQL查询）对，旨在支持数据库神经自然语言接口（NNLIDB）的数据驱动训练。作者采用基于注意力机制的序列到序列模型，在一个较小的手动标注测试集上取得了令人鼓舞的结果，表明神经模型能够在不依赖显式模式知识的情况下，生成语法上合理且语义相关的SQL查询。

ABSTRACT

Progress in natural language interfaces to databases (NLIDB) has been slow mainly due to linguistic issues (such as language ambiguity) and domain portability. Moreover, the lack of a large corpus to be used as a standard benchmark has made data-driven approaches difficult to develop and compare. In this paper, we revisit the problem of NLIDBs and recast it as a sequence translation problem. To this end, we introduce a large dataset extracted from the Stack Exchange Data Explorer website, which can be used for training neural natural language interfaces for databases. We also report encouraging baseline results on a smaller manually annotated test corpus, obtained using an attention-based sequence-to-sequence neural network.

研究动机与目标

• 为解决NLIDB研究进展缓慢的问题，原因在于语言歧义性和缺乏标准化基准。
• 提供一个大规模、公开可用的数据集，用于训练和评估数据驱动的NLIDB系统。
• 通过使用带有注意力机制的神经序列到序列模型，建立端到端从自然语言生成SQL查询的基线。
• 使用标准NLP指标（BLEU）和任务特定指标（精确率、召回率）评估模型性能，涵盖表和列识别任务。
• 证明神经模型能够在不依赖模式感知规则或启发式方法的情况下，生成语法正确且意图一致的SQL查询。

提出的方法

• SENLIDB训练数据集通过Stack Exchange API自动收集，从公开的数据库查询及其对应的自然语言描述中筛选并清洗而成。
• 由两名标注员创建了一个较小的、手动标注的测试集，包含780对（描述，SQL）对，以确保高质量评估。
• 训练了一个带有注意力机制的序列到序列（SEQ2SEQ）神经网络，用于将自然语言描述映射为SQL查询，建模在给定文本输入下SQL的条件概率。
• 通过交叉验证和在人工测试集上的评估来衡量模型性能，使用BLEU分数、表和列识别任务的精确率与召回率进行测量。
• 引入了两个简化子任务——表识别和列识别，以评估模型在生成的SQL中正确实例化数据库模式元素的能力。
• 模型未显式提供数据库模式信息，而是依赖训练数据隐式推断模式关系。

实验结果

研究问题

• RQ1 大规模、自动收集的数据集是否能够有效支持端到端神经NLIDB系统的训练？
• RQ2 基于注意力机制的序列到序列模型在没有模式或基于规则指导的情况下，能否从自然语言描述中生成语法正确且语义相关的SQL查询？
• RQ3 神经模型在多大程度上能够正确识别自然语言查询中的相关表和列？
• RQ4 表和列识别任务中的精确率与召回率能否作为整体NLIDB性能的可靠代理指标？
• RQ5 纯神经端到端模型在语法正确性和语义一致性方面，与现有基于规则或语义解析的NLIDB系统相比，性能如何？

主要发现

• 基于注意力机制的SEQ2SEQ模型生成的SQL查询通常语法正确，并且与用户意图高度一致，即使在语义上不完全准确。
• 在手动标注的测试集上，模型的BLEU分数显示出与参考SQL查询的良好对齐，表明序列生成方面取得了进展。
• 在表识别任务中，模型在验证集和测试集上均实现了高精确率和高召回率，表明其具备强大的模式元素检测能力。
• 在列识别任务中，模型也表现出色，精确率与召回率得分表明其能有效识别相关属性，即使存在潜在的名称冲突（例如，多个表中均存在'table_id'）。
• 结果表明，所提出的数据集适用于训练和评估端到端神经NLIDB系统，即使未提供显式模式信息。
• 本研究凸显了神经序列到序列模型在NLIDB中的潜力，同时也指出了未来架构需要整合模式感知能力和语法约束，以进一步提升准确性。