[论文解读] Attention, please! A survey of Neural Attention Models in Deep Learning

Alana de Santana Correia, Esther Luna Colombini|arXiv (Cornell University)|Mar 31, 2021

EEG and Brain-Computer Interfaces被引用 6

一句话总结

本综述对深度学习中的神经注意力机制进行了全面、系统的分析，回顾了2014至2021年间650篇关键论文。它识别了注意力在卷积神经网络（CNNs）、循环神经网络（RNNs）和生成模型中的核心应用，建立了注意力使用的结构化分类体系，并强调了注意力在提升模型可解释性方面的作用，同时基于一种自动化、可复现的文献综述方法，提出了未来的研究方向。

ABSTRACT

In humans, Attention is a core property of all perceptual and cognitive operations. Given our limited ability to process competing sources, attention mechanisms select, modulate, and focus on the information most relevant to behavior. For decades, concepts and functions of attention have been studied in philosophy, psychology, neuroscience, and computing. For the last six years, this property has been widely explored in deep neural networks. Currently, the state-of-the-art in Deep Learning is represented by neural attention models in several application domains. This survey provides a comprehensive overview and analysis of developments in neural attention models. We systematically reviewed hundreds of architectures in the area, identifying and discussing those in which attention has shown a significant impact. We also developed and made public an automated methodology to facilitate the development of reviews in the area. By critically analyzing 650 works, we describe the primary uses of attention in convolutional, recurrent networks and generative models, identifying common subgroups of uses and applications. Furthermore, we describe the impact of attention in different application domains and their impact on neural networks' interpretability. Finally, we list possible trends and opportunities for further research, hoping that this review will provide a succinct overview of the main attentional models in the area and guide researchers in developing future approaches that will drive further improvements.

研究动机与目标

• 为深度学习中跨多个领域的神经注意力机制提供全面、系统的综述。
• 识别并分类卷积神经网络、循环神经网络和生成神经网络中注意力的主要用途。
• 分析注意力对现实世界应用中模型可解释性和性能的影响。
• 开发并公开发布一种自动化、可复现的文献综述方法，用于注意力研究领域。
• 识别当前开放挑战与未来注意力驱动的深度学习研究方向。

提出的方法

• 作者使用Python脚本对2014–2019年和2019–2021年两个阶段进行搜索，从arXiv、IEEE Xplore、ACL等主要机器学习数据库以及NeurIPS、ICML、CVPR等会议中收集了18,257篇论文。
• 采用三级过滤策略：(1) 通用注意力术语，(2) 深度学习专用术语，(3) 具体注意力机制（如自注意力、Transformer、协同注意力）。
• 通过摘要质量、引用阈值以及人工排除非深度学习相关工作（如视觉注意力、显著性、眼动追踪）进一步筛选论文。
• 共使用6,567篇论文进行定量分析，基于引用频率和相关性从其中筛选出650篇用于关键性定性审查。
• 作者开发了一套可复现的自动化文献综述流程，并在GitHub上公开发布，以支持该领域未来系统性综述工作。
• 分析围绕六大核心主题展开：注意力的应用、注意力机制、应用领域、可解释性、趋势与挑战。

实验结果

研究问题

• RQ1 注意力机制在卷积神经网络、循环神经网络和生成神经网络中的主要应用方式是什么？
• RQ2 注意力如何在不同深度学习应用中提升模型的可解释性和性能？
• RQ3 最具影响力的注意力机制与架构是什么？它们从2014年到2021年间如何演变？
• RQ4 在自然语言处理（NLP）、计算机视觉和多模态学习等不同领域中，注意力应用的常见子类别有哪些？
• RQ5 注意力驱动的深度学习模型中，关键的开放挑战与未来研究方向是什么？

主要发现

• 本综述识别出650篇在深度学习中注意力研究具有高影响力的论文，其研究重点集中于自然语言处理（NLP）、计算机视觉和多模态学习领域。
• 自注意力和基于Transformer的模型已成为主导架构，尤其在序列建模和机器翻译任务中表现卓越，显著优于RNN在长上下文建模中的表现。
• 注意力机制通过突出显示相关输入特征，显著提升了模型的可解释性，使模型推理过程能够被可视化。
• 层次化和协同注意力机制在视觉问答和图像字幕生成等多模态任务中被广泛使用，有效提升了跨模态对齐效果。
• 在生成模型（如变分自编码器VAEs、生成对抗网络GANs、扩散模型）中集成注意力机制，可增强特征表征能力与生成质量，尤其在条件生成任务中表现突出。
• 作者证明，注意力机制已不再局限于特定组件，而是已成为各类先进深度学习系统在多样化领域中的基础构建模块。