[论文解读] Attention-Based Sensor Fusion for Human Activity Recognition Using IMU Signals

Wenjin Tao, Haodong Chen+4 more|arXiv (Cornell University)|Dec 20, 2021

Context-Aware Activity Recognition Systems被引用 10

一句话总结

本文提出了一种基于注意力机制的多IMU传感器融合框架，用于人体活动识别，通过卷积神经网络（CNN）进行传感器特异性特征提取，并采用可学习的注意力机制动态加权传感器重要性。该方法通过有效建模传感器间相关性并聚焦于每项活动最具有信息量的身体部位，在五个公开数据集上实现了最先进（SOTA）的准确率。

ABSTRACT

Human Activity Recognition (HAR) using wearable devices such as smart watches embedded with Inertial Measurement Unit (IMU) sensors has various applications relevant to our daily life, such as workout tracking and health monitoring. In this paper, we propose a novel attention-based approach to human activity recognition using multiple IMU sensors worn at different body locations. Firstly, a sensor-wise feature extraction module is designed to extract the most discriminative features from individual sensors with Convolutional Neural Networks (CNNs). Secondly, an attention-based fusion mechanism is developed to learn the importance of sensors at different body locations and to generate an attentive feature representation. Finally, an inter-sensor feature extraction module is applied to learn the inter-sensor correlations, which are connected to a classifier to output the predicted classes of activities. The proposed approach is evaluated using five public datasets and it outperforms state-of-the-art methods on a wide variety of activity categories.

研究动机与目标

• 解决在多样化真实场景中融合多传感器IMU数据以实现鲁棒人体活动识别的挑战。
• 克服手工设计特征和固定融合方法的局限性，从原始IMU信号中学习判别性、自适应的表示。
• 开发一种可学习的注意力机制，以识别每项活动最具有信息量的身体位置。
• 通过专用的特征提取模块建模传感器间相关性，从而提升识别准确率。

提出的方法

• 将每个传感器的原始IMU信号转换为频域图像，以实现有效的CNN处理。
• 应用传感器专用的CNN模块，从单个传感器输入中提取判别性特征。
• 实施可学习的注意力机制，计算不同身体位置传感器的动态重要性权重。
• 使用传感器间特征提取模块，建模传感器表示之间的相关性。
• 将注意力加权特征与相关特征融合，输入分类器以进行最终活动预测。
• 采用软注意力机制，通过softmax函数对传感器重要性得分进行归一化（公式8）。

实验结果

研究问题

• RQ1 如何有效应用注意力机制融合多IMU信号，以提升人体活动识别性能？
• RQ2 传感器特异性注意力权重在识别不同活动最具有信息量的身体部位方面有何贡献？
• RQ3 可学习的融合策略是否能超越固定或手工设计的融合方法，在多传感器HAR任务中表现更优？
• RQ4 传感器间相关性如何增强模型区分复杂全身体活动的能力？
• RQ5 所提方法在多样化数据集和活动类别上的泛化能力如何？

主要发现

• 所提方法在五个公开的HAR数据集上实现了最先进性能，准确率超越现有方法。
• 注意力机制成功学习到根据活动类型优先处理特定传感器，例如在‘划船’活动中强调手臂传感器，在‘跑步’或‘跳跃’活动中则平均分配注意力。
• 注意力权重的可视化证实，模型学习到了有意义的、与活动相关的传感器重要性，与物理直觉一致。
• 类激活图（CAMs）表明，模型聚焦于与每项活动相关的判别性信号区域和频率分量。
• 该模型在多样化活动类别上泛化良好，涵盖孤立动作与全身体运动。
• 消融实验证实，注意力机制与传感器间相关性模块均显著提升了模型性能。