[论文解读] Context-Aware Self-Attention Networks

Baosong Yang, Jian Li+4 more|arXiv (Cornell University)|Feb 15, 2019

Topic Modeling参考文献 60被引用 27

一句话总结

本文提出上下文感知自注意力网络（CASAN），通过将全局和深层上下文表征整合到查询和键的变换中，增强自注意力机制，从而在不依赖外部资源的情况下提升机器翻译任务的性能。该方法在WMT14和WMT17基准测试中持续提升BLEU分数，同时保持计算效率。

ABSTRACT

Self-attention model have shown its flexibility in parallel computation and the effectiveness on modeling both long- and short-term dependencies. However, it calculates the dependencies between representations without considering the contextual information, which have proven useful for modeling dependencies among neural representations in various natural language tasks. In this work, we focus on improving self-attention networks through capturing the richness of context. To maintain the simplicity and flexibility of the self-attention networks, we propose to contextualize the transformations of the query and key layers, which are used to calculates the relevance between elements. Specifically, we leverage the internal representations that embed both global and deep contexts, thus avoid relying on external resources. Experimental results on WMT14 English-German and WMT17 Chinese-English translation tasks demonstrate the effectiveness and universality of the proposed methods. Furthermore, we conducted extensive analyses to quantity how the context vectors participate in the self-attention model.

研究动机与目标

• 通过在查询和键的变换中引入上下文信息，改进自注意力网络，以解决将输入标记视为孤立实体的局限性。
• 在保持标准自注意力机制的简洁性和并行计算优势的同时，增强对长距离和短距离依赖关系的建模能力。
• 探索内部表征——全局上下文和深层上下文——作为上下文增强的替代方案，避免使用外部资源。
• 通过实证验证不同上下文类型（全局、深层、深层-全局）在注意力计算中的有效性和互补性。
• 分析上下文信息如何影响注意力机制中不同类型词汇（如功能词与内容词）的表现。

提出的方法

• 通过引入源自模型内部表征的上下文向量，实现上下文感知的查询和键变换。
• 使用全局上下文向量，通过隐藏状态的全局池化操作汇总整个序列的信息。
• 采用深层上下文向量，聚合网络多层的表征，以捕捉句法和语义结构。
• 将全局上下文与深层上下文结合，形成深层-全局上下文向量，以同时利用广泛和细粒度的上下文信息。
• 将上下文向量应用于重加权查询和键变换矩阵，增强注意力机制，而无需改变核心自注意力计算过程。
• 保持标准的点积注意力机制，但通过上下文感知的线性变换增强查询和键的投影。

实验结果

研究问题

• RQ1 将内部全局和深层上下文表征整合到自注意力网络中，能否提升其在序列建模任务中的性能？
• RQ2 不同类型的上下文（全局、深层、深层-全局）如何影响注意力计算和模型性能？
• RQ3 全局上下文与深层上下文之间是否存在互补关系，以增强注意力机制？
• RQ4 功能词与内容词在注意力计算中是否从上下文信息中受益不同？
• RQ5 上下文感知的自注意力能否在不使用外部资源或显著降低速度的前提下高效实现？

主要发现

• 所提出的上下文感知自注意力模型在WMT14英语-德语和WMT17中文-英语翻译任务中，均持续优于标准Transformer基线模型。
• 全局上下文策略在较长句子（超过20个词）中表现更优，而深层上下文策略在较短句子中表现更佳，表明二者具有互补优势。
• 深层-全局上下文变体实现了最佳的整体BLEU分数，证明结合两种上下文类型具有显著优势。
• 大量分析表明，功能词比内容词更需要上下文信息，而模型通过上下文感知注意力机制能够自适应地响应这一需求。
• 该方法仅带来微小的速度下降，证实其高效性与实用性。
• 研究结果表明，即使在深层多层Transformer中，残差连接也未能完全捕捉全局上下文，从而证明显式建模上下文的必要性。