[论文解读] Conditional Self-Attention for Query-based Summarization

Yujia Xie, Tianyi Zhou+2 more|arXiv (Cornell University)|Feb 18, 2020

Topic Modeling参考文献 28被引用 15

一句话总结

本论文提出条件自注意力（CSA），一种新型神经模块，通过将成对标记交互条件化于查询，增强自注意力机制，从而生成更相关的上下文表征。CSA通过动态加权与查询相关性高的标记，提升基于查询的摘要生成性能，在抽取式与生成式摘要任务上，于Debatepedia与HotpotQA基准测试中均取得最先进结果。

ABSTRACT

Self-attention mechanisms have achieved great success on a variety of NLP tasks due to its flexibility of capturing dependency between arbitrary positions in a sequence. For problems such as query-based summarization (Qsumm) and knowledge graph reasoning where each input sequence is associated with an extra query, explicitly modeling such conditional contextual dependencies can lead to a more accurate solution, which however cannot be captured by existing self-attention mechanisms. In this paper, we propose extit{conditional self-attention} (CSA), a neural network module designed for conditional dependency modeling. CSA works by adjusting the pairwise attention between input tokens in a self-attention module with the matching score of the inputs to the given query. Thereby, the contextual dependencies modeled by CSA will be highly relevant to the query. We further studied variants of CSA defined by different types of attention. Experiments on Debatepedia and HotpotQA benchmark datasets show CSA consistently outperforms vanilla Transformer and previous models for the Qsumm problem.

研究动机与目标

• 为解决标准自注意力在序列建模中对查询条件依赖建模能力有限的问题。
• 通过显式捕捉相对于给定查询的标记间条件依赖关系，提升基于查询的摘要（Qsumm）性能。
• 设计一个统一模块，无需额外组件即可同时建模局部（成对）与全局（查询相关）依赖关系。
• 通过查询感知注意力机制，在抽取式与生成式Qsumm任务上超越原始Transformer及先前模型。

提出的方法

• CSA在自注意力模块中集成交叉注意力机制，将成对注意力条件化于查询。
• 使用兼容性函数（如乘法或加法注意力）计算每个输入标记与查询之间的兼容性得分。
• 利用这些与查询相关的得分对输入标记进行缩放，再应用标准自注意力，从而引导注意力聚焦于与查询相关的内容。
• 该方法支持多种注意力变体（如乘法、加法），并作为CSA-Transformer模块化集成至Transformer架构中。
• 注意力机制可根据查询动态在突出局部依赖与全局相关性之间切换，实现自适应上下文建模。
• 模型在查询-段落-摘要三元组上端到端训练，损失函数针对抽取式与生成式摘要任务进行定制。

实验结果

研究问题

• RQ1 自注意力机制能否被增强以显式建模外部查询条件依赖，从而提升序列建模的相关性？
• RQ2 将自注意力条件化于查询表征，对基于查询摘要任务的性能有何影响？
• RQ3 单一模块能否有效捕捉成对依赖与全局（查询依赖）依赖，而无需额外组件？
• RQ4 CSA-Transformer是否在抽取式与生成式基于查询的摘要任务上超越标准Transformer及先前最先进模型？

主要发现

• CSA-Transformer在Debatepedia与HotpotQA基准测试中，于抽取式与生成式基于查询摘要任务上均达到最先进性能。
• 该模型持续超越原始Transformer与先前最先进模型，证实了查询条件化注意力的有效性。
• 可视化结果显示，CSA注意力得分与查询相关跨度高度对齐，证实该机制能有效聚焦于相关文本内容。
• 消融实验表明，条件注意力组件至关重要，移除后性能显著下降。
• CSA能有效捕捉局部依赖与全局相关性，注意力模式可根据查询动态调整。
• 该方法在多种注意力变体（乘法与加法）上均表现良好，展现出鲁棒性与灵活性。