[论文解读] Improving Conditioning in Context-Aware Sequence to Sequence Models

Xinyi Wang, Jason Weston+2 more|arXiv (Cornell University)|Nov 21, 2019

Topic Modeling参考文献 24被引用 9

一句话总结

本文提出了一种新颖的序列到序列模型架构，通过在解码过程中交错地关注源查询和长上下文，同时引入一种数据增强方法以提升训练效果，从而在源查询和长上下文的联合条件生成方面实现改进。该方法在三个上下文感知任务——文档级机器翻译、长篇问答和知识增强对话中均实现了稳定提升，通过更有效地利用两种输入模态，经验证具有更高的上下文使用率和更低的反向困惑度。

ABSTRACT

Neural sequence to sequence models are well established for applications which can be cast as mapping a single input sequence into a single output sequence. In this work, we focus on cases where generation is conditioned on both a short query and a long context, such as abstractive question answering or document-level translation. We modify the standard sequence-to-sequence approach to make better use of both the query and the context by expanding the conditioning mechanism to intertwine query and context attention. We also introduce a simple and efficient data augmentation method for the proposed model. Experiments on three different tasks show that both changes lead to consistent improvements.

研究动机与目标

• 解决在同时依赖短源查询和长上下文文档时，有效进行序列到序列生成的挑战。
• 提升模型在抽象问答、文档级机器翻译和知识增强对话等上下文感知任务中的性能。
• 设计一种模型架构，以在解码过程中更有效地整合和利用源序列与上下文序列的信息。
• 开发一种数据增强策略，利用模型架构提升泛化能力和训练效率。

提出的方法

• 模型为源和上下文分别使用独立的编码器，以防止两者之间产生交叉注意力，从而强化模态分离。
• 在解码过程中，通过交错注意力机制交替关注源和上下文，实现两种输入之间的动态交互。
• 在上下文编码器中应用软局部注意力窗口，以限制长距离依赖，作为正则化归纳偏置。
• 引入一种数据增强技术，通过交换或重排上下文和源序列生成合成训练样本，提升模型鲁棒性和泛化能力。
• 模型采用标准交叉熵损失进行端到端训练，评估使用反向困惑度和上下文使用率等指标。
• 该架构在三个任务上进行评估：文档级神经机器翻译、长篇问答和知识增强对话，使用标准基准数据集。

实验结果

研究问题

• RQ1 如何改进序列到序列模型，使其能更好地基于短源查询和长上下文文档进行条件生成？
• RQ2 哪些架构修改能够实现在解码过程中更有效地整合源和上下文信息？
• RQ3 与顺序或拼接注意力机制相比，源和上下文之间的交错注意力在性能和上下文利用方面表现如何？
• RQ4 所提出的数据增强策略在多大程度上提升了模型在多样化上下文感知任务中的泛化能力和鲁棒性？
• RQ5 架构约束（如局部注意力和无交叉注意力）对模型性能和注意力模式有何影响？

主要发现

• 所提出的交错注意力模型在所有三个任务上均优于顺序基线和多任务基线，表现出更低的反向困惑度和更高的上下文使用率。
• 在ELI5数据集上，该模型实现了82.3%的上下文使用率（U_ctx），显著高于顺序基线（69.1%）和多任务基线（74.5%）。
• 在ELI5数据集上，该模型相较顺序基线在上下文使用率上实现了12.2个百分点的绝对提升，表明其对相关上下文信息的利用更充分。
• 定性分析表明，该模型生成的回复更具流畅性且上下文相关性更强，例如在文档级翻译中能正确将'là'解释为'then'，利用上下文线索。
• 注意力分析显示，架构约束（如局部注意力和无交叉注意力）作为有益的归纳偏置，减少了对长距离依赖的依赖，且未损害性能。
• 数据增强方法通过在训练中暴露模型于多样化的源-上下文排列，提升了模型的泛化能力，尤其在低资源设置下表现更优。