[论文解读] Focusing on What is Relevant: Time-Series Learning and Understanding using Attention

Phongtharin Vinayavekhin, Subhajit Chaudhury+5 more|arXiv (Cornell University)|Jun 22, 2018

Time Series Analysis and Forecasting参考文献 22被引用 4

一句话总结

本文提出了一种时间注意力层，通过使用整个输入序列计算注意力权重，实现时间序列任务中的聚焦且可解释的注意力机制。该方法在动作分类、数据补全和关键帧检测任务中均达到最先进性能，且生成的注意力可视化结果比基于RNN的注意力机制更清晰、更直观。

ABSTRACT

This paper is a contribution towards interpretability of the deep learning models in different applications of time-series. We propose a temporal attention layer that is capable of selecting the relevant information to perform various tasks, including data completion, key-frame detection and classification. The method uses the whole input sequence to calculate an attention value for each time step. This results in more focused attention values and more plausible visualisation than previous methods. We apply the proposed method to three different tasks. Experimental results show that the proposed network produces comparable results to a state of the art. In addition, the network provides better interpretability of the decision, that is, it generates more significant attention weight to related frames compared to similar techniques attempted in the past.

研究动机与目标

• 通过将可解释的注意力机制直接嵌入网络架构中，提升时间序列应用中深度学习模型的可解释性。
• 解决基于RNN的注意力机制存在的局限性，即注意力权重分布过于分散，难以清晰揭示关键的时间依赖关系。
• 实现对相关时间步的聚焦注意力，提升模型可解释性，同时不损失性能。
• 在多种时间序列任务（包括分类、补全和关键帧检测）中，验证所提出注意力层的有效性。

提出的方法

• 提出一种时间上下文层，基于整个输入序列计算注意力权重，而非仅依赖单个潜在向量。
• 使用密集编码器表示整个序列，使注意力计算具备全局上下文感知能力。
• 应用注意力机制计算动态权重，突出对决策至关重要的时间步。
• 将所提出的层集成到两种架构中：用于数据补全的自编码器和用于动作识别的分类模型。
• 采用自注意力机制，使网络能够聚焦于显著帧，同时保持高精度。
• 使用多头注意力机制，以捕捉不同表示中多样的时间依赖关系。

实验结果

研究问题

• RQ1 基于完整序列的自注意力机制是否相比基于RNN的注意力机制，在时间序列建模中具有更好的可解释性？
• RQ2 所提出的注意力层是否能产生比现有方法更聚焦的注意力分布，特别是在关键帧检测任务中？
• RQ3 该模型是否能在保持清晰决策相关帧可视化的同时，实现具有竞争力的性能？
• RQ4 与采用BiLSTM或MLP架构的最先进模型相比，该方法在准确率和训练效率方面表现如何？

主要发现

• 在KIT-动作分类数据集上，所提方法达到85.9% ± 2.7的准确率，优于BiLSTM + Attention（85.4%），并匹配比较中最佳性能模型。
• 采用密集编码器的模型仅需56.5秒完成训练（52个周期），显著快于基于BiLSTM的模型（225.5–584.0秒）。
• 参数量大幅减少——所提模型仅需4,732个参数，远低于标准MLP的933,081个参数。
• 注意力可视化显示，模型仅聚焦于少数关键帧（如“鞠躬”动作中的第58帧），其结果符合人类直觉，且能与相似动作明确区分。
• 相比之下，BiLSTM + 前馈注意力机制的注意力分布更广泛，包含非相关帧，降低了可解释性。
• 混淆矩阵显示，“鞠躬”、“高尔夫”和“深蹲”三类动作分类完全正确，且关键帧能清晰区分这些动作与其他动作。