[论文解读] Improving Text-to-SQL with Schema Dependency Learning

Binyuan Hui, Xiang Shi+5 more|arXiv (Cornell University)|Mar 7, 2021

Topic Modeling参考文献 36被引用 24

一句话总结

SDSQL 引入架构依赖学习来指导 Text-to-SQL，减少对执行引导解码的强依赖，在 WikiSQL 上达到最先进结果且在不使用 EG 时推理更快。

ABSTRACT

Text-to-SQL aims to map natural language questions to SQL queries. The sketch-based method combined with execution-guided (EG) decoding strategy has shown a strong performance on the WikiSQL benchmark. However, execution-guided decoding relies on database execution, which significantly slows down the inference process and is hence unsatisfactory for many real-world applications. In this paper, we present the Schema Dependency guided multi-task Text-to-SQL model (SDSQL) to guide the network to effectively capture the interactions between questions and schemas. The proposed model outperforms all existing methods in both the settings with or without EG. We show the schema dependency learning partially cover the benefit from EG and alleviates the need for it. SDSQL without EG significantly reduces time consumption during inference, sacrificing only a small amount of performance and provides more flexibility for downstream applications.

研究动机与目标

• 通过减少对执行引导解码的依赖，同时利用架构与问题的交互，来改进 Text-to-SQL。
• 提出一个多任务的 SDSQL 模型，联合学习架构依赖与 SQL 预测。
• 证明架构依赖学习在 WikiSQL 上的性能提升超过现有草图基方法。
• 在不使用 EG 时展示推理时间的减少，并通过消融研究分析组件贡献。

提出的方法

• 用 BERT 和 Bi-LSTM 对问题和架构表头进行编码以获得表示。
• 构建一个带有预定义标签的架构依赖学习任务（S-Col、S-Agg、W-Col、W-Op、W-Val），并训练一个基于 biaffine 的预测器来建模问题-架构边和标签。
• 使用基于草图的 SQL 预测模块在子模块中预测 SQL 组件。
• 采用自适应多任务损失来联合优化架构依赖和 SQL 预测（可学习的不确定性 σ1、σ2）。
• 在 WikiSQL 上进行实验，将 LF/EX 指标与有无 Execution-Guided (EG) 解码的基线进行比较。

实验结果

研究问题

• RQ1 架构依赖学习如何影响文本到 SQL 的问题与架构之间的交互建模？
• RQ2 SDSQL 在不使用 EG 解码的情况下是否能在 WikiSQL 上达到有竞争力或更优的表现？
• RQ3 架构依赖任务与自适应多任务损失对整体性能有何影响？
• RQ4 在不使用 EG 时推理时间能节省多少，这与准确性之间的权衡如何？
• RQ5 哪些子模块（如 W-Col、W-Val）从架构依赖学习中受益最大？

主要发现

模型	LF 开发	EX 开发	LF 测试	EX 测试
Seq2SQL	49.5	60.8	48.3	59.4
SQLNet	63.2	69.8	61.3	68.0
TypeSQL	68.0	74.5	66.7	73.5
RATSQL	73.6	82.0	75.4	81.4
SQLova	81.6	87.2	80.7	86.2
X-SQL	83.8	89.5	83.3	88.7
HydraNet	83.6	89.1	83.8	89.2
IESQL	81.1	86.5	81.1	86.5
SDSQL	86.0	91.8	85.6	91.4

• 在不使用 EG 的情况下，SDSQL 在 WikiSQL 的开发集和测试集上均超越所有现有模型。
• 在无 EG 的情况下，SDSQL 的 LF 和 EX 得分高于所列的所有基线。
• 在使用 EG 时，SDSQL 仍然是比较方法中报告结果的最佳者。
• 消融研究表明，架构依赖模块对性能提升的贡献比自适应损失本身更大。
• 架构依赖在特别是在 where-col（W-Col）和 where-value（W-Val）的预测上提升明显。