[论文解读] A Regularized Framework for Sparse and Structured Neural Attention

Vlad Niculae, Mathieu Blondel|arXiv (Cornell University)|May 22, 2017

Topic Modeling参考文献 47被引用 46

一句话总结

本文提出了一种通过使用强凸正则化的平滑最大值算子来泛化 softmax 和 sparsemax 机制的正则化框架，以实现稀疏且结构化的神经注意力。该框架支持可微分、可解释的注意力机制，能够强制实施稀疏性以及结构先验（如连续段落（fusedmax）或分组词（oscarmax）），同时在文本蕴涵、机器翻译和摘要生成任务上的性能与标准注意力机制相当或更优。

ABSTRACT

Modern neural networks are often augmented with an attention mechanism, which tells the network where to focus within the input. We propose in this paper a new framework for sparse and structured attention, building upon a smoothed max operator. We show that the gradient of this operator defines a mapping from real values to probabilities, suitable as an attention mechanism. Our framework includes softmax and a slight generalization of the recently-proposed sparsemax as special cases. However, we also show how our framework can incorporate modern structured penalties, resulting in more interpretable attention mechanisms, that focus on entire segments or groups of an input. We derive efficient algorithms to compute the forward and backward passes of our attention mechanisms, enabling their use in a neural network trained with backpropagation. To showcase their potential as a drop-in replacement for existing ones, we evaluate our attention mechanisms on three large-scale tasks: textual entailment, machine translation, and sentence summarization. Our attention mechanisms improve interpretability without sacrificing performance; notably, on textual entailment and summarization, we outperform the standard attention mechanisms based on softmax and sparsemax.

研究动机与目标

• 开发一种统一的、可微分的框架，用于神经网络中的稀疏和结构化注意力机制。
• 通过整合输入元素的连续性或分组等结构先验，提高注意力机制的可解释性。
• 通过高效计算注意力机制的梯度（基于 argmin/argmax 的微分）实现端到端反向传播训练。
• 证明结构化注意力机制在真实世界自然语言处理任务中可达到或超越标准 softmax 和 sparsemax 的性能。

提出的方法

• 该框架基于正则化最大值算子，其梯度将实值输入映射到单纯形上的概率分布。
• 通过选择特定正则化项（如 softmax 使用平方 L2，sparsemax 使用 L1），该方法将 softmax 和 sparsemax 视为特例。
• 通过引入融合 lasso 惩罚项，提出 fusedmax，以鼓励注意力集中在输入元素的连续段落上。
• 通过应用 OSCAR 惩罚项，提出 oscarmax，以促进对分组的、可能非连续的输入元素施加相等注意力。
• 通过推导底层凸优化问题解的雅可比矩阵计算方法，实现高效的前向和反向传播。
• 该方法支持使用自动微分在神经网络中实现端到端训练。

实验结果

研究问题

• RQ1 能否设计一种统一的可微分框架，以在神经网络中生成稀疏且结构化的注意力权重？
• RQ2 如何将结构化正则化（如融合 lasso 或 OSCAR）整合到注意力机制中，以提高可解释性？
• RQ3 此类结构化注意力机制在下游自然语言处理任务中是否能保持或提升与标准 softmax 和 sparsemax 相当或更优的性能？
• RQ4 能否推导出高效算法，以在反向传播过程中计算这些注意力机制的前向和反向传播？

主要发现

• 所提出的 fusedmax 机制在文本蕴涵和句子摘要任务中优于 softmax 和 sparsemax，在 DUC 2004 数据集上实现了 25.55 的 ROUGE-L 分数。
• 在 Gigaword 摘要任务中，fusedmax 达到了 33.69 的 ROUGE-L 分数，略高于 sparsemax（33.64），显著优于 softmax（32.92）。
• oscarmax 机制生成了 softmax 或 sparsemax 无法实现的结构化、分组注意力模式，增强了可解释性且未牺牲性能。
• 该框架通过推导正则化优化问题解的雅可比矩阵计算方法，实现了对注意力机制的高效反向传播。
• 实证结果表明，fusedmax 和 oscarmax 通过聚焦于连续或分组的输入段落，提升了可解释性，同时在三个不同的自然语言处理任务中保持或提高了模型准确率。