[论文解读] Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent Semantic Parsing

Binyuan Hui, Ruiying Geng+8 more|arXiv (Cornell University)|Jan 5, 2021

Topic Modeling参考文献 38被引用 11

一句话总结

本论文提出了一种用于跨域、上下文相关语义解析的动态混合关系网络（DHRN），应用于文本到SQL任务。该框架在话语和词符层面采用动态图结构，实现自适应的节点、边和关系权重更新，结合动态记忆衰减机制与特征增强重排序器，实现了在SParC（55.8% 问题匹配，30.8% 交互匹配）和CoSQL（46.8% 问题匹配，17.0% 交互匹配）上的最先进性能。

ABSTRACT

Semantic parsing has long been a fundamental problem in natural language processing. Recently, cross-domain context-dependent semantic parsing has become a new focus of research. Central to the problem is the challenge of leveraging contextual information of both natural language utterance and database schemas in the interaction history. In this paper, we present a dynamic graph framework that is capable of effectively modelling contextual utterances, tokens, database schemas, and their complicated interaction as the conversation proceeds. The framework employs a dynamic memory decay mechanism that incorporates inductive bias to integrate enriched contextual relation representation, which is further enhanced with a powerful reranking model. At the time of writing, we demonstrate that the proposed framework outperforms all existing models by large margins, achieving new state-of-the-art performance on two large-scale benchmarks, the SParC and CoSQL datasets. Specifically, the model attains a 55.8% question-match and 30.8% interaction-match accuracy on SParC, and a 46.8% question-match and 17.0% interaction-match accuracy on CoSQL.

研究动机与目标

• 解决多轮、跨域文本到SQL交互中的上下文相关语义解析挑战。
• 建模自然语言话语、数据库模式及其在对话轮次中不断演化的上下文之间的复杂交互。
• 提升在SParC和CoSQL等大规模基准上的性能，这些基准对现有上下文无关模型仍具挑战性。
• 通过动态记忆衰减引入归纳偏置，更好地管理长期上下文，并减少过时交互带来的噪声。
• 利用特征增强重排序器提升解析准确率，过滤语法无效的SQL查询并提高逻辑正确性。

提出的方法

• 在话语和词符层面构建动态图，以建模话语、词符与数据库模式元素之间不断演化的关联关系。
• 采用隐式关系上的动态上下文表示（DCRI）与显式关系上的动态上下文表示（DCRE），以捕捉基于注意力的依赖与基于结构的模式依赖。
• 引入两种记忆衰减机制——门控型与调度型——以模拟人类遗忘行为，降低对过时上下文的依赖。
• 应用特征增强重排序器，整合任务特定表示与外部知识，以优化候选SQL查询并提升语法正确性。
• 采用统一框架联合优化上下文建模与SQL生成，支持在多轮对话上端到端训练。
• 利用预训练语言模型进行上下文编码，并将其整合至动态图中，以增强表征学习。

实验结果

研究问题

• RQ1 如何通过动态图框架有效建模自然语言话语与数据库模式之间的多轮、跨域交互？
• RQ2 动态记忆衰减机制在模拟人类遗忘行为方面，能在多大程度上提升上下文相关文本到SQL解析的性能？
• RQ3 显式模式关系（如列-表关联）能否在统一的动态图中与隐式注意力关系有效结合？
• RQ4 特征增强重排序器如何通过过滤语法错误或语义错误的输出，提升生成SQL查询的准确率？
• RQ5 各组件（如DCRI、DCRE、衰减机制、重排序器）对SParC与CoSQL整体性能的贡献如何？

主要发现

• 所提出的DHRN框架在SParC基准上实现了55.8%的问题匹配与30.8%的交互匹配准确率，创下新的最先进水平。
• 在CoSQL基准上，模型实现了46.8%的问题匹配与17.0%的交互匹配准确率，显著优于先前方法。
• 消融实验表明，DCRI、DCRE、记忆衰减与重排序器各组件均对性能有正向贡献，其中衰减机制在CoSQL上表现更强，因频繁的意图转变而受益。
• 可视化结果表明，动态衰减机制降低了对长期历史关系的激活，使注意力更聚焦于当前轮次的交互，模拟了人类记忆动态。
• 特征增强重排序器通过过滤错误的SQL候选，提升了性能，在CoSQL上相比基线重排序实现了1.8%的绝对交互匹配提升。
• 模型在对话轮次中保持了相对较高的准确率，在SParC的第四轮达到33%的准确率，优于以往模型在后期轮次的表现。