[论文解读] HIE-SQL: History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsing

Yanzhao Zheng, Haibin Wang+3 more|ArXiv.org|Mar 14, 2022

Topic Modeling被引用 4

一句话总结

HIE-SQL 通过联合利用交互历史话语和最后预测的 SQL 查询，提出了一种基于双模态预训练模型（SQLBERT）和模式链接图的历史信息增强网络，以实现上下文相关的文本到 SQL 解析。该方法在 SparC（64.6% 问题匹配，42.9% 交互匹配）和 CoSQL（53.9% 问题匹配，24.6% 交互匹配）上取得了最先进性能。

ABSTRACT

Recently, context-dependent text-to-SQL semantic parsing which translates natural language into SQL in an interaction process has attracted a lot of attention. Previous works leverage context-dependence information either from interaction history utterances or the previous predicted SQL queries but fail in taking advantage of both since of the mismatch between natural language and logic-form SQL. In this work, we propose a History Information Enhanced text-to-SQL model (HIE-SQL) to exploit context-dependence information from both history utterances and the last predicted SQL query. In view of the mismatch, we treat natural language and SQL as two modalities and propose a bimodal pre-trained model to bridge the gap between them. Besides, we design a schema-linking graph to enhance connections from utterances and the SQL query to the database schema. We show our history information enhanced methods improve the performance of HIE-SQL by a significant margin, which achieves new state-of-the-art results on the two context-dependent text-to-SQL benchmarks, the SparC and CoSQL datasets, at the writing time.

研究动机与目标

• 解决上下文相关文本到 SQL 解析的挑战，其中依赖关系跨越多个对话轮次，需要同时建模自然语言和逻辑形式的 SQL。
• 通过将自然语言话语和逻辑形式 SQL 查询视为两种模态，缓解上下文建模中两者之间的不匹配问题。
• 通过将历史话语和最后预测的 SQL 查询整合到统一的上下文感知框架中，提升长距离依赖建模能力。
• 通过设计一种历史信息增强的模式链接图，增强模式对齐能力，该图连接话语、SQL 查询和数据库模式。
• 在大规模跨领域上下文相关文本到 SQL 解析基准（SparC 和 CoSQL）上实现最先进性能。

提出的方法

• 提出 SQLBERT，一种双模态预训练模型，联合编码自然语言话语和逻辑形式 SQL 查询，以弥合模态间的语义鸿沟。
• 设计一种历史信息增强的模式链接图，显式建模当前话语、历史话语、最后预测的 SQL 查询与数据库模式之间的关系。
• 使用相对自注意力机制编码模式链接图中的长距离依赖，实现在历史上下文上的动态注意力。
• 引入 R-Drop 正则化以提升模型鲁棒性和泛化能力，尤其在噪声或模糊上下文条件下表现更优。
• 采用带语法约束的序列到序列解码器，生成语法正确的 SQL 查询，同时保留上下文感知表示。
• 使用交叉熵损失和 R-Drop 进行端到端训练，并采用束搜索推理以优化精确匹配指标。

实验结果

研究问题

• RQ1 如何有效利用交互历史话语和最后预测的 SQL 查询，以提升上下文相关文本到 SQL 解析性能？
• RQ2 像 SQLBERT 这类双模态预训练模型在多大程度上能缩小自然语言与逻辑形式 SQL 之间的语义差距？
• RQ3 结合话语和 SQL 查询的模式链接图是否能提升对齐准确率和长距离依赖建模能力？
• RQ4 历史 SQL 查询的集成如何影响模型在训练过程中的鲁棒性和性能稳定性？
• RQ5 R-Drop 正则化对模型泛化能力及在不同上下文条件下的高性能保持能力有何影响？

主要发现

• HIE-SQL 在 SparC 基准上实现了 64.6% 的问题匹配率和 42.9% 的交互匹配率，创下新最先进水平。
• 在 CoSQL 基准上，HIE-SQL 实现了 53.9% 的问题匹配率和 24.6% 的交互匹配率，同样确立了新的最先进水平。
• 消融实验表明，引入最后预测的 SQL 查询能显著提升性能，尤其在交互匹配准确率方面有明显增益。
• SQLBERT 预训练相比简单的 SQL 与话语嵌入拼接，显著提升了模型性能，证明其在跨模态表示学习中的有效性。
• R-Drop 的使用使训练曲线更加稳定，交互匹配分数方差更低，表明模型鲁棒性得到提升。
• 案例研究显示，HIE-SQL 能够成功继承先前 SQL 查询的上下文信息——例如在 CoSQL 示例 b3 中正确扩展查询——而 RATS-QUL 等基线模型因长距离依赖错位而失败。