[论文解读] Input-Cell Attention Reduces Vanishing Saliency of Recurrent Neural Networks

Aya Abdelsalam Ismail, Mohamed K. Gunady+3 more|arXiv (Cornell University)|Oct 27, 2019

Cell Image Analysis Techniques参考文献 35被引用 19

一句话总结

本文提出了一种新型的RNN单元架构——输入单元注意力（input-cell attention），通过在当前和过去时间步的输入向量上实现注意力机制，缓解了循环网络中的梯度消失问题。通过使用可学习的注意力矩阵关注相关的历史输入，该方法在时间维度上保持了显著性，从而无论特征出现在时间序列的哪个位置，都能准确检测到重要特征——在合成数据和fMRI时间序列上的实验表明，标准RNN无法检测到早期显著特征。

ABSTRACT

Recent efforts to improve the interpretability of deep neural networks use saliency to characterize the importance of input features to predictions made by models. Work on interpretability using saliency-based methods on Recurrent Neural Networks (RNNs) has mostly targeted language tasks, and their applicability to time series data is less understood. In this work we analyze saliency-based methods for RNNs, both classical and gated cell architectures. We show that RNN saliency vanishes over time, biasing detection of salient features only to later time steps and are, therefore, incapable of reliably detecting important features at arbitrary time intervals. To address this vanishing saliency problem, we propose a novel RNN cell structure (input-cell attention), which can extend any RNN cell architecture. At each time step, instead of only looking at the current input vector, input-cell attention uses a fixed-size matrix embedding, each row of the matrix attending to different inputs from current or previous time steps. Using synthetic data, we show that the saliency map produced by the input-cell attention RNN is able to faithfully detect important features regardless of their occurrence in time. We also apply the input-cell attention RNN on a neuroscience task analyzing functional Magnetic Resonance Imaging (fMRI) data for human subjects performing a variety of tasks. In this case, we use saliency to characterize brain regions (input features) for which activity is important to distinguish between tasks. We show that standard RNN architectures are only capable of detecting important brain regions in the last few time steps of the fMRI data, while the input-cell attention model is able to detect important brain region activity across time without latter time step biases.

研究动机与目标

• 探究为何RNN中的显著性图，特别是LSTM，会随时间推移而消失，导致检测偏向于后期时间步。
• 通过提出一种在所有时间区间内保持特征重要性的机制，解决现有基于显著性的可解释性方法在时间序列中的局限性。
• 在合成时间序列和真实世界fMRI数据上评估所提出的输入单元注意力机制，证明其在神经科学应用中提升了可解释性。
• 展示标准RNN无法检测到早期时间步中的显著特征，而所提方法在整个序列中均能保持一致的显著性检测。

提出的方法

• 引入一种改进的LSTM单元，其集成了输入单元注意力机制，其中可学习的注意力矩阵对当前和先前时间步的输入向量进行注意力计算。
• 在每个时间步，将输入序列投影为固定大小的矩阵，并通过注意力机制计算这些输入的权重，形成加权表示。
• 将加权输入矩阵作为标准LSTM单元的输入，使网络能够动态关注时间维度上的显著特征。
• 该注意力机制是可微分的，支持端到端训练，支持RNN与注意力组件的联合优化。
• 该方法与网络架构无关，可通过用注意力机制替换输入处理步骤，应用于任意RNN或LSTM变体。
• 通过基于梯度的方法（如积分梯度）计算显著性，以解释时间维度上的特征重要性。

实验结果

研究问题

• RQ1 标准RNN，特别是LSTM，中的显著性是否随时间推移而消失，导致对后期时间步中重要特征的检测产生偏差？
• RQ2 在时间步之间对输入向量应用注意力机制，是否能缓解RNN中的显著性消失问题？
• RQ3 在时间序列数据中，输入单元注意力与自注意力及其他注意力机制相比，在保持显著性方面表现如何？
• RQ4 输入单元注意力是否能提升真实世界神经科学应用（如基于fMRI的任务分类）中的可解释性？

主要发现

• 标准LSTM在时间维度上表现出显著的显著性衰减，特征重要性得分在后期时间步显著更高，导致对显著特征的检测产生偏差。
• 所提出的输入单元注意力机制成功地在所有时间步中保持了显著性，使在合成时间序列中无论特征位于时间序列的哪个位置，都能可靠检测到重要特征。
• 在MNIST作为时间序列的任务中，输入单元注意力在所有时间步均恢复了显著性值，而原始LSTM则表现出显著性随时间持续衰减。
• 在人类连接组计划（Human Connectome Project）的fMRI数据中，标准LSTM仅在最后几个时间步检测到重要脑区，而输入单元注意力在整个任务序列中均识别出显著的脑区。
• 当移除显著特征时，标准LSTM的准确率仅下降2%（当移除前10%显著特征时），表明其可靠性较差；相比之下，输入单元注意力的准确率下降9.5%，证实了其更准确的显著性检测能力。
• 超过70%的标准LSTM识别出的前10%显著特征来自非任务时间段，凸显其对后期、非信息性时间步的偏向。