[论文解读] Area Attention

Yang Li, Łukasz Kaiser+2 more|arXiv (Cornell University)|Oct 23, 2018

Multimodal Machine Learning Applications参考文献 9被引用 4

一句话总结

本文提出区域注意力（area attention），一种新颖的注意力机制，使模型能够关注记忆中连续的区域（即空间或时间上相邻的项目），而非单个独立项目。通过基于项目一致性的动态学习区域大小，并利用求和面积表实现高效计算，区域注意力在神经机器翻译和图像字幕生成任务中提升了性能，且无需引入额外参数。

ABSTRACT

Existing attention mechanisms, are mostly item-based in that a model is designed to attend to a single item in a collection of items (the memory). Intuitively, an area in the memory that may contain multiple items can be worth attending to as a whole. We propose area attention: a way to attend to an area of the memory, where each area contains a group of items that are either spatially adjacent when the memory has a 2-dimensional structure, such as images, or temporally adjacent for 1-dimensional memory, such as natural language sentences. Importantly, the size of an area, i.e., the number of items in an area, can vary depending on the learned coherence of the adjacent items. By giving the model the option to attend to an area of items, instead of only a single item, we hope attention mechanisms can better capture the nature of the task. Area attention can work along multi-head attention for attending to multiple areas in the memory. We evaluate area attention on two tasks: neural machine translation and image captioning, and improve upon strong (state-of-the-art) baselines in both cases. These improvements are obtainable with a basic form of area attention that is parameter free. In addition to proposing the novel concept of area attention, we contribute an efficient way for computing it by leveraging the technique of summed area tables.

研究动机与目标

• 解决现有基于项目（item-based）注意力机制仅关注单个项目所带来的局限，这些机制可能无法捕捉数据中的结构或上下文一致性。
• 提出一种新型注意力机制，使模型能够关注记忆中相邻项目的组（区域），从而更好地建模空间或时间上的连贯性。
• 基于相邻项目的一致性，实现动态区域大小学习，使模型能够自适应地聚焦于有意义的区域。
• 通过求和面积表（summed area tables）实现区域注意力的高效计算，确保可扩展性。
• 在神经机器翻译和图像字帽生成等真实任务上评估区域注意力的有效性。

提出的方法

• 区域注意力通过将区域定义为记忆中连续的项目区域来运作，这些区域可以是空间相邻的（例如在二维特征图中）或时间相邻的（例如在序列中）。
• 每个区域的大小由模型学习到的相邻项目一致性动态决定，从而实现可变大小的感受野。
• 该机制可自然地与多头注意力结合，使不同头能够并行关注多个区域。
• 通过求和面积表（也称积分图像）实现高效计算，可在常数时间内计算矩形或连续区域的总和。
• 该方法为无参数（parameter-free）设计，即除标准注意力机制外不引入任何可学习参数。
• 注意力权重是基于整个区域而非单个标记计算的，注意力分数反映每个区域与查询的相关性。

实验结果

研究问题

• RQ1 与关注单个项目相比，关注记忆中连续区域（区域）是否能提升序列建模与视觉任务的性能？
• RQ2 基于项目一致性的动态区域大小选择如何影响模型性能与泛化能力？
• RQ3 能否在不引入额外参数或计算开销的前提下，实现区域注意力的高效计算？
• RQ4 在神经机器翻译与图像字幕生成等任务中，区域注意力是否优于标准的基于项目的注意力机制？
• RQ5 使用求和面积表是否能实现区域注意力在真实模型中的实际部署？

主要发现

• 区域注意力在神经机器翻译任务中提升了性能，其结果优于强基线模型。
• 在图像字幕生成任务中，区域注意力显著优于强基线模型，证明其在视觉-语言任务中的有效性。
• 性能提升来自一种基础的、无参数的区域注意力形式，表明机制本身是关键创新点。
• 求和面积表的使用使区域注意力的计算高效，具备可扩展性，适用于实际应用场景。
• 基于一致性的动态区域大小选择使模型能够聚焦于语义上有意义的项目组，从而增强表征学习能力。
• 区域注意力可泛化应用于不同记忆结构——二维（图像）与一维（序列）——展现出广泛的适用性。