[论文解读] GP: Context-free Grammar Pre-training for Text-to-SQL Parsers

Liang Zhao, Hexin Cao+1 more|arXiv (Cornell University)|Jan 25, 2021

Topic Modeling参考文献 27被引用 11

一句话总结

本文提出语法预训练（GP），一种上下文无关语法的预训练方法，通过独立预训练文本到SQL模型的解码器，提升自然语言问题与SQL语法之间的对齐。通过将解码器预训练与编码器解耦，并引入洪水损失和值序列化，GP将平均训练损失降低78.9%，方差减少至基线的0.8%，在Spider数据集上实现72.8%的开发集准确率和69.8%的测试集准确率——表明收敛速度更快且更具鲁棒性。

ABSTRACT

A new method for Text-to-SQL parsing, Grammar Pre-training (GP), is proposed to decode deep relations between question and database. Firstly, to better utilize the information of databases, a random value is added behind a question word which is recognized as a column, and the new sentence serves as the model input. Secondly, initialization of vectors for decoder part is optimized, with reference to the former encoding so that question information can be concerned. Finally, a new approach called flooding level is adopted to get the non-zero training loss which can generalize better results. By encoding the sentence with GRAPPA and RAT-SQL model, we achieve better performance on spider, a cross-DB Text-to-SQL dataset (72.8 dev, 69.8 test). Experiments show that our method is easier to converge during training and has excellent robustness.

研究动机与目标

• 为解决在跨领域文本到SQL解析中建模自然语言问题与复杂SQL语法规则之间对齐的挑战。
• 提升端到端文本到SQL模型的训练稳定性和收敛速度。
• 通过使用语法感知目标独立预训练解码器，降低对编码器表示的依赖。
• 通过洪水级别正则化提升鲁棒性并减少训练损失方差。
• 通过在模式输入中丰富值匹配序列化，提升泛化能力并减少SQL语法错误。

提出的方法

• 使用上下文无关语法规则目标，独立于编码器预训练解码器，将其与编码器依赖表示解耦。
• 应用一种基于洪水水平的新损失函数，以维持非零训练损失，避免优化过程中的局部极小值。
• 通过在输入序列中直接在对应列之后附加问题中匹配的值，增强模式编码。
• 使用字符串匹配识别问题与数据库列之间的精确值匹配，提升列识别能力。
• 将预训练解码器与RAT-SQL和${f G{ iny RAPPA}}$框架集成，提升Spider数据集上的性能。
• 在${f G{ iny RAPPA}}$中结合掩码语言建模（MLM）和文本-模式链接目标，联合表示文本和表格数据。

实验结果

研究问题

• RQ1 独立于编码器预训练解码器是否能提升文本到SQL模型的训练效率和鲁棒性？
• RQ2 洪水级别正则化如何影响文本到SQL训练中的收敛性和损失稳定性？
• RQ3 值序列化在复杂多表查询中对列和表识别的提升程度如何？
• RQ4 语法感知预训练是否能减少生成SQL语句中的语法错误？
• RQ5 在跨领域基准如Spider上，所提出的GP方法相较于现有预训练基线，在性能和方差方面表现如何？

主要发现

• 与未使用GP的基线模型相比，所提出的GP方法将平均训练损失降低了78.9%。
• 训练损失的方差减少至基线模型的0.8%，表明优化过程更加平滑。
• 该模型在Spider数据集上实现了72.8%的开发集准确率和69.8%的测试集准确率，优于基线RAT-SQL+${f G{ iny RAPPA}}$。
• 使用GP的最终模型展现出更强鲁棒性，其开发集与测试集性能差距远小于基线模型。
• 洪水损失、值序列化与GP的结合在离线设置下取得最佳结果，开发集准确率达到73.1%。
• 该方法对超参数敏感，特别是$b$和$lr$，部分组合可能导致梯度爆炸。