[论文解读] An End-to-end Neural Natural Language Interface for Databases

Prasetya Ajie Utama, Nathaniel Weir+7 more|TUbilio (Technical University of Darmstadt)|Apr 2, 2018

Topic Modeling参考文献 22被引用 28

一句话总结

DBPal 引入了一种端到端的神经网络自然语言数据库接口，采用序列到序列的 RNN 模型，能够稳健地将多样化的自然语言查询翻译为 SQL，即使存在改写和句法变化。它通过仅使用数据库模式元数据生成合成训练数据集，减少了人工标注负担，使新数据库的快速部署成为可能，且准确率高于基于规则和早期神经方法的系统。

ABSTRACT

The ability to extract insights from new data sets is critical for decision making. Visual interactive tools play an important role in data exploration since they provide non-technical users with an effective way to visually compose queries and comprehend the results. Natural language has recently gained traction as an alternative query interface to databases with the potential to enable non-expert users to formulate complex questions and information needs efficiently and effectively. However, understanding natural language questions and translating them accurately to SQL is a challenging task, and thus Natural Language Interfaces for Databases (NLIDBs) have not yet made their way into practical tools and commercial products. In this paper, we present DBPal, a novel data exploration tool with a natural language interface. DBPal leverages recent advances in deep models to make query understanding more robust in the following ways: First, DBPal uses a deep model to translate natural language statements to SQL, making the translation process more robust to paraphrasing and other linguistic variations. Second, to support the users in phrasing questions without knowing the database schema and the query features, DBPal provides a learned auto-completion model that suggests partial query extensions to users during query formulation and thus helps to write complex queries.

研究动机与目标

• 解决非技术用户使用传统 SQL 或可视化工具查询关系型数据库时面临的高门槛问题。
• 提高自然语言到 SQL 翻译对语言变化（如改写和句法差异）的鲁棒性。
• 通过仅从数据库模式元数据生成合成训练数据，最小化人工标注开销。
• 通过实时自动补全功能增强用户交互，基于上下文和学习到的语言模型建议查询补全。
• 构建一个实用且可扩展的 NLIDB 系统，支持复杂、临时的查询，而无需用户了解数据库模式或 SQL 语法。

提出的方法

• 训练一个序列到序列的循环神经网络（Seq2Seq）模型，将自然语言问题映射为等效的 SQL 查询，利用深度学习提升泛化能力。
• 通过仅使用数据库模式和最少的注释信息，构建大规模的自然语言与 SQL 配对的合成数据生成管道。
• 利用 PPDB 数据库的改写技术对训练集进行增强，以提高对语言变化的覆盖范围。
• 交互式自动补全系统使用相同的 Seq2Seq 模型，在输入过程中建议上下文相关的查询扩展，提升查询清晰度并减少歧义。
• 系统在合成数据上进行端到端训练，实现新数据库的最小人工干预部署。
• 该方法避免了手工构建本体或基于规则的系统，使其具备领域无关性并可扩展。

实验结果

研究问题

• RQ1 深度神经网络模型能否实现对同一查询意图的多样化语言表达具有鲁棒性的自然语言到 SQL 翻译？
• RQ2 仅从模式元数据生成的合成数据在多大程度上可以替代 NLIDB 系统中的人工标注训练集？
• RQ3 实时自动补全在引导用户形成清晰、适合查询的自然语言输入方面有多有效？
• RQ4 一个单一的神经模型能否在保持高准确率的同时，同时实现自然语言到 SQL 翻译和自动补全功能？
• RQ5 该系统在处理改写和复杂查询时，与基于规则或早期神经 NLIDB 系统相比，性能如何？

主要发现

• 与依赖基于规则解析的最先进系统（如 NaLIR）相比，DBPal 在应对改写和语言变化方面表现出显著提升的鲁棒性。
• 合成数据生成方法使仅通过极少的人工标注即可训练出高性能的自然语言到 SQL 模型，显著降低了新数据库的部署开销。
• 将自动补全与同一神经模型集成，通过引导用户形成无歧义且结构正确的查询，显著提升了用户体验。
• 系统实现了在合成数据上的端到端训练，无需人工标注的自然语言-SQL 对，从而能够快速适应新数据库模式。
• 该方法优于先前需要强化学习或大量人工标注数据进行微调的神经模型。
• 原型在实际数据探索场景中展现出强大的部署潜力，尤其适用于非技术用户。