[论文解读] Attention-based Neural Bag-of-Features Learning for Sequence Data

Dat Tran, Nikolaos Passalis+3 more|arXiv (Cornell University)|May 25, 2020

Neural Networks and Applications被引用 6

一句话总结

本文提出2D-Attention（2DA），一种通用的注意力机制，通过在时间和词袋维度上实现动态可学习的量化特征加权，增强了神经词袋模型（NBoF）在序列数据上的表现。通过将2DA作为即插即用模块集成到NBoF中，该模型在金融预测、音频分析和医疗诊断任务中实现了性能提升与更强的鲁棒性，优于标准NBoF模型，甚至在噪声数据上与基于GRU的模型表现相当。

ABSTRACT

In this paper, we propose 2D-Attention (2DA), a generic attention formulation for sequence data, which acts as a complementary computation block that can detect and focus on relevant sources of information for the given learning objective. The proposed attention module is incorporated into the recently proposed Neural Bag of Feature (NBoF) model to enhance its learning capacity. Since 2DA acts as a plug-in layer, injecting it into different computation stages of the NBoF model results in different 2DA-NBoF architectures, each of which possesses a unique interpretation. We conducted extensive experiments in financial forecasting, audio analysis as well as medical diagnosis problems to benchmark the proposed formulations in comparison with existing methods, including the widely used Gated Recurrent Units. Our empirical analysis shows that the proposed attention formulations can not only improve performances of NBoF models but also make them resilient to noisy data.

研究动机与目标

• 为解决标准NBoF模型在聚合过程中对所有量化特征同等对待的局限性，该方法在非平稳、噪声较大的序列数据中导致表征学习性能欠佳。
• 开发一种通用的、即插即用的注意力机制，能够动态地为矩阵结构化序列数据中的时间步与词袋维度分配重要性。
• 提升NBoF模型在真实世界应用中的表征能力与鲁棒性，尤其针对包含噪声或类别不平衡的序列数据，如金融时间序列、音频信号和心电图/心音图记录。
• 证明注意力增强的NBoF变体在多样化的序列学习任务中，持续优于基线NBoF模型，并与GRU等成熟的循环模型具有竞争力。

提出的方法

• 提出2D-Attention（2DA），一种可微分的注意力机制，其注意力权重在由时间步与词袋构成的2D特征图上计算，实现对相关特征的选择性关注。
• 将2DA作为轻量级、可学习的模块集成到NBoF架构中，可灵活插入不同阶段，从而支持构建具有不同解释性的2DA-NBoF模型。
• 采用多头注意力机制，通过查询、键和值的投影计算注意力分数，随后经Softmax归一化生成用于特征重加权的注意力权重。
• 将学习到的注意力权重应用于NBoF聚合步骤，对量化特征执行加权平均，取代标准的均匀平均。
• 使用随机优化（ADAM）端到端训练整个2DA-NBoF模型，通过权重衰减、Dropout和批量归一化进行正则化。
• 在所有序列中共享一个码书，词袋向量在反向传播过程中联合学习，以优化整体目标函数。

实验结果

研究问题

• RQ1 通用的、可学习的注意力机制能否提升神经词袋（NBoF）模型在序列数据上的表征能力？
• RQ2 所提出的2D-Attention机制是否能在不同领域中提升NBoF对噪声和非平稳序列数据的鲁棒性？
• RQ3 在金融预测、音频分析和医疗诊断任务中，注意力增强的NBoF变体与标准NBoF及成熟的循环模型（如GRU）相比，性能如何？
• RQ4 2DA模块能否作为即插即用组件，在NBoF架构的不同阶段有效使用，从而生成具有不同且可解释的模型变体？

主要发现

• 在AF数据集上，2DA-NBoF模型的平均F1得分为88.81±1.07，显著优于基线NBoF（88.68±0.95），并接近GRU模型的性能。
• 在PCG数据集上，2DA-NBoF模型的平均敏感度和特异度分别为72.34±1.32和69.45±0.89，表现出在噪声医疗信号数据上的强劲性能。
• 注意力模型在金融预测、音频分析和医疗诊断三个领域均表现出一致的性能提升，显示出良好的泛化性与鲁棒性。
• 2DA模块提升了NBoF模型对噪声数据的抗性，在类别不平衡与非平稳序列设置下也观察到性能增益。
• 尽管结构更简单、效率更高，2DA-NBoF变体在医疗诊断任务中的表现与GRU基线模型相当或更优。
• 消融实验证实，注意力机制显著增强了特征表征能力，F1分数与平衡准确率指标均观察到性能提升。