[论文解读] RASAT: Integrating Relational Structures into Pretrained Seq2Seq Model for Text-to-SQL

Jiexing Qi, Jingyao Tang+7 more|arXiv (Cornell University)|May 14, 2022

Semantic Web and Ontologies被引用 12

一句话总结

RASAT 提出了一种关系感知的自注意力机制，将多种关系结构（如模式链接、依存分析和共指消解）整合到预训练 T5 模型的编码器中，实现了文本到 SQL 生成的最先进性能，同时保留了预训练权重。其在 Spider 上达到 75.5% 的执行准确率，在 SParC 上达到 52.6%，在 CoSQL 上达到 37.4%，显著优于先前方法。

ABSTRACT

Relational structures such as schema linking and schema encoding have been validated as a key component to qualitatively translating natural language into SQL queries. However, introducing these structural relations comes with prices: they often result in a specialized model structure, which largely prohibits using large pretrained models in text-to-SQL. To address this problem, we propose RASAT: a Transformer seq2seq architecture augmented with relation-aware self-attention that could leverage a variety of relational structures while inheriting the pretrained parameters from the T5 model effectively. Our model can incorporate almost all types of existing relations in the literature, and in addition, we propose introducing co-reference relations for the multi-turn scenario. Experimental results on three widely used text-to-SQL datasets, covering both single-turn and multi-turn scenarios, have shown that RASAT could achieve state-of-the-art results across all three benchmarks (75.5% EX on Spider, 52.6% IEX on SParC, and 37.4% IEX on CoSQL).

研究动机与目标

• 解决专用模型架构限制导致大型预训练模型在文本到 SQL 任务中难以有效利用的问题。
• 在单一、可扩展的框架中统一多种关系结构，如模式编码、模式链接、依存分析和共指消解。
• 在不丢弃预训练参数的前提下，将关系归纳偏置集成到标准 T5 序列到序列架构中。
• 提升在单轮和多轮文本到 SQL 基准测试中的性能，尤其在执行准确率（EX/IEX）方面。
• 证明关系结构可被有效注入通用预训练序列到序列模型（如 T5）中。

提出的方法

• 在 T5 编码器的自注意力机制中引入关系感知模块，使其能够关注模式链接、依存分析和共指关系等关系结构。
• 将所有关系结构表示为可学习的关系嵌入，并注入注意力计算中，使模型能够动态关注相关的关系信息。
• 在保留预训练 T5 参数的同时，仅引入新的可训练参数用于关系感知注意力头，实现高效微调。
• 将数据库内容、模式结构和自然语言句法依赖关系作为输入特征，丰富编码器表示。
• 使用标准 T5 解码器进行自回归生成，并通过 PICARD 后处理提升语法正确性。
• 在文本到 SQL 数据集上端到端训练模型，使用交叉熵损失，同时保持与现有 T5 微调流程的兼容性。

实验结果

研究问题

• RQ1 能否在不破坏其预训练架构的前提下，将模式链接、依存分析和共指消解等关系结构有效集成到标准 T5 序列到序列模型中？
• RQ2 与标准微调相比，向预训练 T5 模型中注入关系归纳偏置是否能带来显著的性能提升？
• RQ3 不同类型的關係結構（如模式编码、数据库内容、依存关系、共指）對模型性能的貢獻如何？
• RQ4 所提出的方法是否能在單輪（Spider）和多輪（SParC、CoSQL）文本到 SQL 基準上實現最先进執行準確率？
• RQ5 性能提升是否隨模型規模增加而擴大？與強基線方法（如 T5 + PICARD）相比表現如何？

主要发现

• RASAT 在 Spider 基准上實現 75.5% 的執行準確率，相比先前最優方法提升 0.4% 的絕對值。
• 在 SParC 上，RASAT 將 IEX 從 21.6% 提升至 52.6%，絕對提升 31%，展現出在多輪設定下的強大泛化能力。
• 在 CoSQL 上，RASAT 實現 37.4% 的 IEX，相比先前最優的 8.4% 提升 29% 的絕對值。
• 消融實驗表明，資料庫內容和依存關係對性能貢獻顯著，當移除資料庫內容時，IEX 下降 1.9%。
• 在 Spider 的所有難度等級上，RASAT 均優於 T5-3B + PICARD，易到極難子集的 EX 準確率提升 0.8–2.0%。
• 該方法展現出強大的可擴展性：性能提升在較小的 T5 模型上最為顯著（例如，T5-small 的 EX 提升 5.9%），表明 RASAT 增強了模型學習關係歸納偏置的能力。