[论文解读] LGESQL: Line Graph Enhanced Text-to-SQL Model with Mixed Local and Non-Local Relations

Ruisheng Cao, Lu Chen+4 more|arXiv (Cornell University)|Jun 2, 2021

Web Data Mining and Analysis参考文献 54被引用 9

一句话总结

LGESQL 提出了一种增强线图的文本到 SQL 模型，通过基于边中心的线图对问题和数据库模式进行联合编码，建模局部和非局部关系，从而提高消息传递效率和关系特征学习能力。该模型在使用 GloVe 时于 Spider 数据集上实现了 62.8% 的精确集合匹配率，在使用 Electra 时达到了 72.0%，表现达到当前最优水平。

ABSTRACT

This work aims to tackle the challenging heterogeneous graph encoding problem in the text-to-SQL task. Previous methods are typically node-centric and merely utilize different weight matrices to parameterize edge types, which 1) ignore the rich semantics embedded in the topological structure of edges, and 2) fail to distinguish local and non-local relations for each node. To this end, we propose a Line Graph Enhanced Text-to-SQL (LGESQL) model to mine the underlying relational features without constructing meta-paths. By virtue of the line graph, messages propagate more efficiently through not only connections between nodes, but also the topology of directed edges. Furthermore, both local and non-local relations are integrated distinctively during the graph iteration. We also design an auxiliary task called graph pruning to improve the discriminative capability of the encoder. Our framework achieves state-of-the-art results (62.8% with Glove, 72.0% with Electra) on the cross-domain text-to-SQL benchmark Spider at the time of writing.

研究动机与目标

• 解决节点中心 GNN 在文本到 SQL 任务中的局限性，后者无法捕捉边的拓扑语义，并混淆了局部与非局部关系。
• 通过区分局部（1 跳）与非局部（多跳）关系，缓解因对所有邻居统一使用注意力机制而导致的过平滑问题。
• 通过构建线图隐式学习有用的关联模式，消除对人工设计元路径的依赖。
• 通过引入辅助图剪枝任务，提升编码器对与问题相关模式节点的判别能力。
• 通过在节点与边表示之间进行双图迭代，提升异构节点（问题、表、列）之间的有效消息传递。

提出的方法

• 从原始的节点中心异构图构建线图，将边转换为节点，以建模边之间的拓扑关系。
• 在原始节点图与线图上进行迭代消息传递，使边特征能够捕捉多跳关系模式。
• 在消息传递过程中，整合来自线图节点嵌入的动态局部边特征与来自参数矩阵的静态非局部边特征。
• 应用双注意力机制，聚合来自邻近节点与边的信息，通过多视角增强表示学习。
• 设计辅助图剪枝任务，训练编码器识别相关模式节点，注入归纳偏差以提升模式选择能力。
• 使用预训练语言模型（如 Electra）进行上下文感知的问题编码，同时保持整个框架的端到端可微性。

实验结果

研究问题

• RQ1 通过线图建模边的拓扑结构，是否能在不依赖元路径的情况下提升文本到 SQL 中的关系特征学习？
• RQ2 区分局部（1 跳）与非局部（多跳）关系对文本到 SQL 模型性能有何影响？
• RQ3 辅助图剪枝任务是否能增强编码器识别相关模式元素的能力？
• RQ4 线图方法是否能缓解过平滑问题，并在跨领域文本到 SQL 基准上提升泛化能力？
• RQ5 与现有基于 GNN 的文本到 SQL 模型相比，所提方法在精确集合匹配准确率方面有多大的性能优势？

主要发现

• 当使用 GloVe 嵌入时，LGESQL 在 Spider 基准上实现了 62.8% 的当前最优精确集合匹配准确率。
• 使用 Electra 预训练语言模型时，LGESQL 达到了 72.0% 的精确集合匹配准确率，在 Spider 上创下新的 SOTA 记录。
• 该模型在涉及多表连接的复杂查询上，显著优于现有方法（如 RGATSQL 和 RATSQL）。
• 消融实验表明，线图机制与图剪枝辅助任务均对性能提升有显著贡献。
• 案例研究显示，LGESQL 更好地识别了相关模式组件，并能正确构建 JOIN 路径，即使在多表场景下亦然。
• 与基线模型相比，该模型在需要多跳推理的查询中，显著减少了因缺少或错误引用表而导致的错误。