[论文解读] DanHAR: Dual Attention Network For Multimodal Human Activity Recognition Using Wearable Sensors

Wenbin Gao, Lei Zhang+3 more|arXiv (Cornell University)|Jun 25, 2020

Context-Aware Activity Recognition Systems参考文献 38被引用 11

一句话总结

该论文提出DanHAR，一种在CNN框架内结合通道注意力与时间注意力的双注意力网络，以提升可穿戴传感器在多模态人体活动识别中的性能。通过联合建模传感器模态重要性和关键时间步，DanHAR在四个公开数据集和一个弱标签数据集上实现了最先进（SOTA）的准确率，同时参数量增加极少，注意力可视化结果也证实了其可解释性，并与人类直觉一致。

ABSTRACT

Human activity recognition (HAR) in ubiquitous computing has been beginning to incorporate attention into the context of deep neural networks (DNNs), in which the rich sensing data from multimodal sensors such as accelerometer and gyroscope is used to infer human activities. Recently, two attention methods are proposed via combining with Gated Recurrent Units (GRU) and Long Short-Term Memory (LSTM) network, which can capture the dependencies of sensing signals in both spatial and temporal domains simultaneously. However, recurrent networks often have a weak feature representing power compared with convolutional neural networks (CNNs). On the other hand, two attention, i.e., hard attention and soft attention, are applied in temporal domains via combining with CNN, which pay more attention to the target activity from a long sequence. However, they can only tell where to focus and miss channel information, which plays an important role in deciding what to focus. As a result, they fail to address the spatial-temporal dependencies of multimodal sensing signals, compared with attention-based GRU or LSTM. In the paper, we propose a novel dual attention method called DanHAR, which introduces the framework of blending channel attention and temporal attention on a CNN, demonstrating superiority in improving the comprehensibility for multimodal HAR. Extensive experiments on four public HAR datasets and weakly labeled dataset show that DanHAR achieves state-of-the-art performance with negligible overhead of parameters. Furthermore, visualizing analysis is provided to show that our attention can amplifies more important sensor modalities and timesteps during classification, which agrees well with human common intuition.

研究动机与目标

• 为解决现有注意力机制在多模态HAR中仅关注时间或通道重要性的问题，忽略时空依赖性。
• 通过在基于CNN的架构中整合通道与时间注意力，提升深度学习方法在HAR中的特征表示能力。
• 通过支持从粗粒度标签或弱标签数据中有效学习，减少对昂贵全标注数据集的依赖。
• 通过可视化注意力权重，增强模型可解释性，使其与人类对传感器重要性和活动时间的直觉保持一致。
• 在保持低计算开销的前提下实现高准确率，使模型适用于实际可穿戴设备应用。

提出的方法

• 提出一种双注意力机制，在残差CNN框架内同时应用通道注意力与时间注意力。
• 使用挤压-激励模块计算可学习的通道注意力权重，以突出重要传感器模态。
• 在时间步上应用软注意力机制，识别输入序列中的关键时间点，提升时间聚焦能力。
• 通过逐元素相乘和拼接操作，融合通道与时间注意力特征，再进行最终分类。
• 采用残差网络主干网络，以保持梯度流动并提升训练稳定性。
• 使用交叉熵损失端到端训练整个网络，实现注意力与特征学习的联合优化。

实验结果

研究问题

• RQ1 能否通过同时建模通道与时间依赖性的双注意力机制，提升多模态HAR的性能？
• RQ2 与单注意力机制或基于RNN的注意力机制相比，所提出的注意力机制在准确率与参数效率方面表现如何？
• RQ3 注意力权重在多大程度上反映了人类对传感器重要性与活动时间的直觉？
• RQ4 该模型能否在弱标签数据上实现良好泛化，从而减少对昂贵全标注数据的依赖？
• RQ5 将注意力机制集成到CNN架构中，是否优于与GRU或LSTM等RNN结合的注意力机制在HAR任务中的表现？

主要发现

• DanHAR在四个公开HAR数据集（WISDM、PAMAP2、UNIMIB SHAR和OPPORTUNITY）上均达到最先进性能，显著优于先前方法。
• 在PAMAP2数据集上，DanHAR将误分类错误数从残差网络基线的93例降低至75例，展现出更优的泛化能力。
• 模型保持了可忽略的参数开销，适合在可穿戴设备上部署。
• 可视化结果表明，通道注意力为相关传感器（如跑步和跳绳时的手部与脚踝传感器）分配了高权重，与人类预期一致。
• 时间注意力能有效突出活动序列中的关键时间步，如骑行或跳跃中的峰值运动阶段。
• 双注意力机制促进了模态与时间维度上的更好特征融合，提升了模型的可理解性，并增强了对相似活动类别的鲁棒性。