[论文解读] RESDSQL: Decoupling Schema Linking and Skeleton Parsing for Text-to-SQL

Haoyang Li, Jing Zhang+2 more|arXiv (Cornell University)|Feb 12, 2023

Natural Language Processing Techniques被引用 6

一句话总结

RESDSQL 通过将模式链接与骨架解析解耦，提出了一种文本到 SQL 的解耦方法：它使用交叉编码器对所有模式项进行排序并仅注入相关项到编码器中，同时采用骨架感知解码器，先生成 SQL 骨架再生成完整查询。该设计在提升性能的同时增强了鲁棒性，在 Spider 及其鲁棒性变体上达到了最先进水平。

ABSTRACT

One of the recent best attempts at Text-to-SQL is the pre-trained language model. Due to the structural property of the SQL queries, the seq2seq model takes the responsibility of parsing both the schema items (i.e., tables and columns) and the skeleton (i.e., SQL keywords). Such coupled targets increase the difficulty of parsing the correct SQL queries especially when they involve many schema items and logic operators. This paper proposes a ranking-enhanced encoding and skeleton-aware decoding framework to decouple the schema linking and the skeleton parsing. Specifically, for a seq2seq encoder-decode model, its encoder is injected by the most relevant schema items instead of the whole unordered ones, which could alleviate the schema linking effort during SQL parsing, and its decoder first generates the skeleton and then the actual SQL query, which could implicitly constrain the SQL parsing. We evaluate our proposed framework on Spider and its three robustness variants: Spider-DK, Spider-Syn, and Spider-Realistic. The experimental results show that our framework delivers promising performance and robustness. Our code is available at https://github.com/RUCKBReasoning/RESDSQL.

研究动机与目标

• 通过将序列到序列模型中常相互交织的模式链接与骨架解析解耦，降低文本到 SQL 的复杂度。
• 通过在模型输入前过滤无关的模式项，减轻模式链接的负担。
• 通过中间骨架生成引导解码器，提升 SQL 解析的准确性。
• 在 Spider 的挑战性、分布外的变体（如 Spider-DK、Spider-Syn 和 Spider-Realistic）上提升鲁棒性。
• 提供一种简单而有效的框架，在不增加复杂模块的前提下提升性能。

提出的方法

• 训练一个交叉编码器，对所有表和列根据其与输入问题的相关性进行分类与排序。
• 仅选择最相关的前 k 个模式项，并将其注入编码器，替代原有的无序模式序列。
• 修改解码器，使其先生成骨架（例如，'SELECT _ FROM _ WHERE _'），再生成完整 SQL 查询。
• 解码器中的掩码自注意力机制通过依赖骨架，隐式引导生成正确的语法结构。
• 该框架基于 T5 的序列到序列模型实现，除排序与解码策略外未引入额外模块。
• 模式项分类器独立训练，并用于在解码前重新组织输入模式序列。

实验结果

研究问题

• RQ1 解耦模式链接与骨架解析是否能提升文本到 SQL 的性能？
• RQ2 在序列到序列模型中，过滤无关模式项是否能降低模式链接的难度？
• RQ3 将生成 SQL 骨架作为中间步骤，是否能提升完整 SQL 生成的准确性？
• RQ4 所提出的框架在 Spider-DK、Spider-Syn 和 Spider-Realistic 等鲁棒性基准上的表现如何？
• RQ5 与端到端联合学习相比，基于排序增强的编码与骨架感知解码方法是否更具有效性？

主要发现

• RESDSQL 在 Spider 基准上实现了最先进性能，优于先前方法。
• 模型在 Spider-DK、Spider-Syn 和 Spider-Realistic 上表现出强大的鲁棒性，表明其泛化能力得到提升。
• 骨架感知解码策略通过隐式约束语法正确性，提升了生成准确性。
• 排序增强的编码器减少了无关模式项带来的噪声，提升了模式链接效率。
• 该框架在仅骨架解析任务上达到了约 80% 的精确匹配准确率，表明骨架解析远比完整 SQL 生成简单。
• 消融实验确认，排序模块与骨架感知解码均对整体性能提升有显著贡献。