[论文解读] Human Activity Recognition from Wearable Sensor Data Using Self-Attention

Saif Mahmud, M Tanjid Hasan Tonmoy+6 more|arXiv (Cornell University)|Mar 17, 2020

Context-Aware Activity Recognition Systems参考文献 27被引用 44

一句话总结

本文提出一个基于自注意力的非循环神经网络用于HAR，利用传感器模态注意力、自注意力块和全局时序注意力来提升四个公开数据集上的活动识别。它在基准和 LOSO 评估中达到最先进的性能，并提供可解释的传感器注意力图。

ABSTRACT

Human Activity Recognition from body-worn sensor data poses an inherent challenge in capturing spatial and temporal dependencies of time-series signals. In this regard, the existing recurrent or convolutional or their hybrid models for activity recognition struggle to capture spatio-temporal context from the feature space of sensor reading sequence. To address this complex problem, we propose a self-attention based neural network model that foregoes recurrent architectures and utilizes different types of attention mechanisms to generate higher dimensional feature representation used for classification. We performed extensive experiments on four popular publicly available HAR datasets: PAMAP2, Opportunity, Skoda and USC-HAD. Our model achieve significant performance improvement over recent state-of-the-art models in both benchmark test subjects and Leave-one-subject-out evaluation. We also observe that the sensor attention maps produced by our model is able capture the importance of the modality and placement of the sensors in predicting the different activity classes.

研究动机与目标

• 动机与挑战在于捕捉时间序列可穿戴传感器数据中的时空依赖关系以用于 HAR。
• 提出一种非循环的基于自注意力的架构，从多传感器输入学习鲁棒特征表示。
• 引入传感器模态注意力与全局时序注意力以捕捉空间与时间上下文。
• 在四个公开 HAR 数据集上进行评估，并与最先进的循环及基于注意力的模型进行比较。
• 通过传感器注意力图展示可解释性，并分析窗口大小的影响。

提出的方法

• 应用传感器模态注意力对来自不同传感器的输入进行加权。
• 使用一维卷积将加权的传感器输入转换为带有位置编码的d维向量。
• 纳入多头自注意力块以建模窗口内的时序关系。
• 增加全局时序注意力层，计算用于分类的加权时序摘要。
• 采用端到端训练，并使用最终的全连接层加 softmax 进行活动标签分类。
• 在样本级和窗口级设置下进行评估，并执行 Leave-One-Subject-Out (LOSO) 验证。

实验结果

研究问题

• RQ1 自注意力架构在 HAR 中在不使用循环层的情况下能否捕捉时空依赖？
• RQ2 传感器模态注意力是否提升多传感器输入在不同数据集上的有效性？
• RQ3 相对于最先进的方法，基准测试对象和 LOSO-CV 下模型表现如何？
• RQ4 窗口大小对识别性能和模型鲁棒性有何影响？
• RQ5 注意力图是否能在传感器放置和活动类型方面提供可解释性？

主要发现

数据集	样本级 提出的方法	样本级 DeepConvLSTM	样本级 ConvAE	窗口级 提出的方法	窗口级 DeepConvLSTM	窗口级 ConvAE	留一被试法 提出的方法	留一被试法 DeepConvLSTM	留一被试法 ConvAE
PAMAP2	0.95	0.96	0.71	0.70	0.52	0.80	0.88	0.90	0.89
Opportunity	0.61	0.67	0.66	0.58	0.60	0.60	0.71	-	-
USC-HAD	0.50	0.55	0.42	0.38	0.42	0.46	-	-	-
Skoda	0.93	0.97	0.96	0.88	0.82	0.79	0.91	0.94	0.93

• 提出的模型在基准测试中，在窗口级宏 F1 分数上超过 DeepConvLSTM 和 ConvAE，适用于 PAMAP2、Opportunity、USC-HAD 和 SKODA。
• 模型在 LOSO-CV 上表现强劲，跨数据集优于 DeepConvLSTM 与 ConvAE。
• 在 PAMAP2 上，模型给出 0.95/0.96（样本级）以及 0.71/0.70/0.52/0.80/0.88/0.90/0.89 对应各种基线，表明对注意力增强变体的竞争性提升。
• 在 Opportunity 上，窗口级宏 F1 提升至 0.67，相较 DeepConvLSTM 的 0.58 和 ConvAE 的 0.60。
• 对于 USC-HAD 与 SKODA，提出的模型在窗口级指标上稳定达到或超过竞争的基于注意力的方法，并在若干样本级指标上优于它们。
• 传感器模态注意力图与特定活动中的传感器放置重要性直观吻合（例如熨烫更依赖手部传感器）。