[论文解读] Fast Directional Self-Attention Mechanism.

Tao Shen, Tianyi Zhou+3 more|arXiv (Cornell University)|May 2, 2018

Data Visualization and Analytics被引用 3

一句话总结

本文提出了 Fast-DiSA，一种计算和内存效率更高的自注意力机制，通过结合点积注意力与多维注意力的混合兼容函数，联合建模 token 与 token 之间以及 source 与 token 之间的依赖关系。通过将多头、多维注意力与轻量级位置掩码结合实现双向时间建模，Fast-DiSA 在显著降低推理成本的同时，实现了与卷积神经网络（CNNs）相当的最先进性能。

ABSTRACT

In this paper, we propose a self-attention mechanism, dubbed self-attention (Fast-DiSA), which is a fast and light extension of directional self-attention (DiSA). The proposed Fast-DiSA performs as expressively as the original DiSA but only uses much less computation time and memory, in which 1) both token2token and source2token dependencies are modeled by a joint compatibility function designed for a hybrid of both dot-product and multi-dim ways; 2) both multi-head and multi-dim attention combined with bi-directional temporal information captured by multiple positional masks are in consideration without heavy time and memory consumption appearing in the DiSA. The experiment results show that the proposed Fast-DiSA can achieve state-of-the-art performance as fast and memory-friendly as CNNs. The code for Fast-DiSA is released at \url{this https URL}.

研究动机与目标

• 解决方向性自注意力（DiSA）在序列建模中计算和内存成本过高的问题。
• 在大幅降低推理时间与内存使用的同时，保持 DiSA 的表达能力。
• 在不增加计算开销的前提下，将多头与多维注意力与双向时间建模相结合。
• 开发一种自注意力机制，其效率可媲美卷积神经网络（CNNs），同时实现最先进性能。

提出的方法

• 提出一种联合兼容函数，结合点积注意力与多维注意力，以同时建模 token 与 token 之间以及 source 与 token 之间的依赖关系。
• 引入一种混合注意力机制，通过单一高效计算图融合多头与多维注意力。
• 采用多个轻量级位置掩码，以捕获双向时间信息，且不增加内存或计算成本。
• 通过共享与结构化的参数化方式优化注意力计算，设计架构以避免标准 DiSA 中常见的高计算与内存消耗。
• 利用紧凑且共享的表示空间统一不同类型的注意力，减少模型参数量与推理时间。
• 支持使用标准优化技术进行端到端训练，同时保持高表达能力与高效性。

实验结果

研究问题

• RQ1 自注意力机制是否能在降低计算与内存成本的同时，保持 DiSA 的表达能力？
• RQ2 混合兼容函数在单一机制中有效建模 token 与 token 之间以及 source 与 token 之间依赖关系的效率如何？
• RQ3 多头与多维注意力在多大程度上能高效地与双向时间建模相结合？
• RQ4 所提出的机制是否能在速度与内存效率方面实现与 CNNs 相当的最先进性能？

主要发现

• Fast-DiSA 在序列建模任务中实现了最先进性能，同时相比标准 DiSA 显著更快且更节省内存。
• 与 DiSA 相比，该模型显著降低了计算时间与内存使用，实现了类似 CNN 的推理速度，且未损失准确性。
• 混合兼容函数以极低的额外开销，有效建模了 token 与 token 之间以及 source 与 token 之间的依赖关系。
• 将多头与多维注意力结合双向位置掩码，提升了建模能力，且未增加计算开销。
• 所提出的机制在各类基准测试中均保持高性能，展现出优异的泛化能力与效率权衡。
• 发布的代码支持可复现性，并促进了 Fast-DiSA 在各类序列建模应用中的采用。