[论文解读] Adding Attentiveness to the Neurons in Recurrent Neural Networks

Pengfei Zhang, Jianru Xue+4 more|arXiv (Cornell University)|Jul 12, 2018

Human Pose and Action Recognition参考文献 43被引用 8

一句话总结

本文提出了一种简单而有效的机制——逐元素注意力门（EleAttG），通过在神经元级别对输入向量的每个元素进行注意力调制，增强循环神经网络（RNNs）的性能。将EleAttG应用于RNN模块（如GRU、LSTM或标准RNN）后，模型在3D骨骼和RGB视频数据上的动作识别任务中实现了更快的收敛速度和显著的性能提升，在NTU、N-UCLA和SYSU数据集上取得了当前最优结果。

ABSTRACT

Recurrent neural networks (RNNs) are capable of modeling the temporal dynamics of complex sequential information. However, the structures of existing RNN neurons mainly focus on controlling the contributions of current and historical information but do not explore the different importance levels of different elements in an input vector of a time slot. We propose adding a simple yet effective Element-wiseAttention Gate (EleAttG) to an RNN block (e.g., all RNN neurons in a network layer) that empowers the RNN neurons to have the attentiveness capability. For an RNN block, an EleAttG is added to adaptively modulate the input by assigning different levels of importance, i.e., attention, to each element/dimension of the input. We refer to an RNN block equipped with an EleAttG as an EleAtt-RNN block. Specifically, the modulation of the input is content adaptive and is performed at fine granularity, being element-wise rather than input-wise. The proposed EleAttG, as an additional fundamental unit, is general and can be applied to any RNN structures, e.g., standard RNN, Long Short-Term Memory (LSTM), or Gated Recurrent Unit (GRU). We demonstrate the effectiveness of the proposed EleAtt-RNN by applying it to the action recognition tasks on both 3D human skeleton data and RGB videos. Experiments show that adding attentiveness through EleAttGs to RNN blocks significantly boosts the power of RNNs.

研究动机与目标

• 解决现有RNN在捕捉时间步长间输入向量元素重要性差异方面的局限性。
• 通过在元素级别引入细粒度、内容自适应的注意力机制，提升RNN选择性关注显著输入特征的能力。
• 开发一种通用型、架构无关的注意力模块，可无缝集成到任意RNN结构（如GRU、LSTM、标准RNN）中。
• 在多种序列建模任务中验证所提机制的有效性，尤其在基于3D骨骼和RGB视频的动作识别任务中。
• 证明在参数量相近的前提下，在输入层添加注意力比增加模型深度或宽度更有效。

提出的方法

• 提出逐元素注意力门（EleAttG），一种可学习模块，生成与输入向量维度相同的注意力向量。
• 在RNN模块处理前，通过Sigmoid激活函数对输入向量进行逐元素调制，避免总和为1的约束。
• 将EleAttG集成到RNN模块（如GRU、LSTM、标准RNN）中，形成新型架构EleAtt-RNN，可堆叠多层。
• 使用调制后的输入 $\widetilde{\mathbf{x}}_t = \text{EleAttG}(\mathbf{x}_t) \odot \mathbf{x}_t$ 作为后续RNN计算的输入，实现动态、依赖输入的注意力机制。
• 采用标准反向传播端到端训练整个网络，其中注意力权重在优化过程中被学习。
• EleAttG中避免使用Softmax，以防止输入元素间的相互抑制，转而使用Sigmoid实现独立的注意力缩放。

实验结果

研究问题

• RQ1 在输入层引入逐元素注意力是否能提升RNN在序列建模任务中的表征能力？
• RQ2 与标准RNN变体相比，所提出的EleAttG机制是否能在动作识别任务中实现更快的收敛速度和更好的泛化性能？
• RQ3 与强制归一化的注意力机制相比，EleAttG中不设总和为1的约束是否对性能产生积极影响？
• RQ4 在参数数量保持不变的前提下，所提出的注意力机制是否比增加网络深度或宽度更有效？
• RQ5 EleAttG是否可普遍应用于不同RNN架构（如GRU、LSTM、标准RNN）并保持一致的性能增益？

主要发现

• EleAtt-GRU模型在基于3D骨骼的动作识别任务中，在NTU、N-UCLA和SYSU数据集上均达到当前最优性能，优于基线GRU模型。
• 在NTU数据集上，2层、每层100个神经元的EleAtt-GRU模型在CV协议下达到85.5%的准确率，比基线2-GRU(100)模型高出4.1%。
• 在RGB视频动作识别任务中，EleAtt-GRU模型在JHMDB和NTU数据集上均取得显著性能提升，证明了其在不同模态数据上的泛化能力。
• 实验表明，在EleAttG中使用Sigmoid而非Softmax可获得更优性能，在CV协议下，将该机制应用于第二层GRU时，NTU数据集上的准确率提升了3.5%。
• 在参数量相近的情况下，添加EleAttG比增加神经元数量或网络层数更有效，2-EleAtt-GRU(100)相比2-GRU(100)在准确率上提升了3.1%至4.1%。
• 训练损失曲线显示，与基线GRU相比，EleAtt-GRU收敛更快且最终损失更低，证实了其优化动力学的改进。