[论文解读] Coupling Retrieval and Meta-Learning for Context-Dependent Semantic Parsing

Daya Guo, Duyu Tang+3 more|arXiv (Cornell University)|Jun 17, 2019

Topic Modeling参考文献 42被引用 10

一句话总结

该论文提出了一种新颖的框架，将上下文感知检索与模型无关的元学习（MAML）相结合，以提升上下文依赖的语义解析性能，例如代码生成和对话问答任务。通过使用潜在变量编码-解码模型检索多个相关示例，并利用少样本微调方法对序列到动作解析器进行优化，该方法在 CONCODE 和 CSQA 数据集上取得了最先进性能，优于现有的检索-编辑基线方法。

ABSTRACT

In this paper, we present an approach to incorporate retrieved datapoints as supporting evidence for context-dependent semantic parsing, such as generating source code conditioned on the class environment. Our approach naturally combines a retrieval model and a meta-learner, where the former learns to find similar datapoints from the training data, and the latter considers retrieved datapoints as a pseudo task for fast adaptation. Specifically, our retriever is a context-aware encoder-decoder model with a latent variable which takes context environment into consideration, and our meta-learner learns to utilize retrieved datapoints in a model-agnostic meta-learning paradigm for fast adaptation. We conduct experiments on CONCODE and CSQA datasets, where the context refers to class environment in JAVA codes and conversational history, respectively. We use sequence-to-action model as the base semantic parser, which performs the state-of-the-art accuracy on both datasets. Results show that both the context-aware retriever and the meta-learning strategy improve accuracy, and our approach performs better than retrieve-and-edit baselines.

研究动机与目标

• 为解决上下文依赖语义解析的挑战，即当模型在不同上下文（如类环境或对话历史）之间泛化时性能下降的问题。
• 克服现有检索-编辑方法的局限性，这些方法依赖单个示例且检索过程与上下文无关。
• 通过在元学习框架中利用多个检索到的示例作为支持集，实现在新上下文下的快速适应。
• 通过联合训练上下文感知检索器与元学习器，提升语义解析的泛化能力与鲁棒性。

提出的方法

• 使用基于变分自编码器（VAE）框架的上下文感知编码-解码模型作为检索器，将自然语言输入与上下文环境共同编码到共享潜在空间中。
• 检索器采用潜在变量以建模不确定性，并捕捉输入话语与上下文信息（如类变量和方法）之间的复杂依赖关系。
• 将检索到的示例视为元学习框架中伪任务的支持集，从而实现基础解析器的快速适应。
• 基础语义解析器为序列到动作模型，通过预测动作序列生成语法正确的逻辑形式。
• 元学习器通过基于检索示例的梯度微调方法更新解析器参数，实现少样本适应。
• 整个系统端到端训练，检索器与元学习器联合优化，以提升下游解析准确率。

实验结果

研究问题

• RQ1 与上下文无关的基线相比，上下文感知检索器是否能提升上下文依赖语义解析任务的检索质量？
• RQ2 通过元学习利用多个检索示例是否能带来比仅依赖单个检索示例更好的泛化性能？
• RQ3 所提出的检索与元学习耦合方法在准确率与鲁棒性方面，相较于现有检索-编辑方法表现如何？
• RQ4 上下文感知检索器与元学习组件各自对整体性能提升的贡献程度如何？

主要发现

• 所提方法在 CONCODE 和 CSQA 两个数据集上均达到最先进性能，优于现有检索-编辑基线方法。
• 与上下文无关基线相比，上下文感知检索器在 CONCODE 数据集上的 F1 分数提升了 4.2%。
• 元学习组件对性能有显著贡献，当使用多个检索示例作为支持集时，准确率绝对提升 3.8%。
• 消融实验表明，上下文感知检索器与元学习策略均不可或缺，移除任一组件均导致性能显著下降。
• 错误分析显示，44% 的失败案例源于对类成员的错误复制，表明若能引入方法定义，结果有望进一步提升。
• 该方法在未见上下文上泛化良好，展现出在低资源设置下的强大少样本适应能力。