[论文解读] MMTSA: Multimodal Temporal Segment Attention Network for Efficient Human Activity Recognition

Ziqi Gao, Yuntao Wang+5 more|arXiv (Cornell University)|Oct 14, 2022

Context-Aware Activity Recognition Systems被引用 6

一句话总结

MMTSA 提出了一种多模态时间片段注意力网络，通过将 IMU 信号转换为格米安角场图像（Gramian Angular Field, GAF），采用稀疏采样减少冗余，并利用跨片段注意力模块实现高效融合，从而在 RGB 视频与 IMU 数据之间进行人体动作识别。在 MMAct 数据集上，其跨被试 F1 分数相比 SOTA 方法提升了 11.13%；与 SOTA 方法相比，FLOPs 降低 94%，延迟降低 82.6%，实现了高效的边缘设备部署。

ABSTRACT

Multimodal sensors provide complementary information to develop accurate machine-learning methods for human activity recognition (HAR), but introduce significantly higher computational load, which reduces efficiency. This paper proposes an efficient multimodal neural architecture for HAR using an RGB camera and inertial measurement units (IMUs) called Multimodal Temporal Segment Attention Network (MMTSA). MMTSA first transforms IMU sensor data into a temporal and structure-preserving gray-scale image using the Gramian Angular Field (GAF), representing the inherent properties of human activities. MMTSA then applies a multimodal sparse sampling method to reduce data redundancy. Lastly, MMTSA adopts an inter-segment attention module for efficient multimodal fusion. Using three well-established public datasets, we evaluated MMTSA's effectiveness and efficiency in HAR. Results show that our method achieves superior performance improvements 11.13% of cross-subject F1-score on the MMAct dataset than the previous state-of-the-art (SOTA) methods. The ablation study and analysis suggest that MMTSA's effectiveness in fusing multimodal data for accurate HAR. The efficiency evaluation on an edge device showed that MMTSA achieved significantly better accuracy, lower computational load, and lower inference latency than SOTA methods.

研究动机与目标

• 解决现有基于密集采样和异构子网络的多模态 HAR 方法在效率和性能上的局限性。
• 通过使用格米安角场（Gramian Angular Field, GAF）的统一同构表示，保留单模态输入（RGB 与 IMU）之间的时序相关性并减少结构差异。
• 通过引入一种多模态稀疏采样策略，从输入片段中选择关键时间片段，以减少计算冗余。
• 通过跨片段注意力机制实现高效多模态融合，动态加权跨模态特征在各片段上的重要性。
• 通过最小化 FLOPs、参数量和推理延迟，在保持高准确率的前提下，优化模型以适应边缘设备部署。

提出的方法

• 使用格米安角场（GAF）变换将原始 IMU 时间序列数据转换为 2D 灰度图像，以保留人体动作的时序与结构特性。
• 应用一种多模态稀疏采样策略，从 RGB 和 IMU 输入中分别选择具有代表性的时序片段，以减少数据冗余而不损失关键信息。
• 设计一种跨片段注意力模块，学习 RGB 与 IMU 模态对应片段之间的动态注意力权重，实现高效、上下文感知的特征融合。
• 在 GAF 变换后，为两种模态使用共享主干网络，以最小化结构差异并提升参数效率。
• 使用交叉熵损失结合早停策略与数据增强技术，端到端训练 MMTSA 模型，以增强泛化能力。
• 通过 FLOPs、参数量和推理延迟等指标，在边缘设备上评估模型效率。

实验结果

研究问题

• RQ1 IMU 与 RGB 数据的统一同构表示是否能有效提升时序相关性并减少多模态 HAR 中的结构差异？
• RQ2 对多模态片段进行稀疏采样是否能显著降低计算负载，同时保持识别准确率？
• RQ3 跨片段注意力机制是否能有效融合时间片段上的多模态特征，从而提升识别性能？
• RQ4 在边缘设备上，MMTSA 与 SOTA 方法相比，在准确率、FLOPs 和推理延迟方面表现如何？
• RQ5 所提方法是否可扩展至 IMU 以外的一维传感器模态？

主要发现

• 在 MMAct 数据集上，MMTSA 相较于先前 SOTA 方法，跨被试 F1 分数提升了 11.13%。
• 在 DataEgo 数据集上，MMTSA 相较于 SOTA 模型，FLOPs 降低 94%，推理延迟降低 82.6%，同时保持更高的准确率。
• 消融实验证实，GAF 变换、稀疏采样和跨片段注意力三个组件均对性能与效率有显著贡献。
• MMTSA 在三个公开数据集（MMAct、NTU-RGB+D 和 DataEgo）上均展现出优越的泛化能力与鲁棒性。
• 模型效率在边缘设备上得到验证，表明其在移动与可穿戴系统中具备强大的实时部署潜力。
• 尽管参数量较高，MMTSA 凭借其计算效率与低延迟，极适合边缘部署，且可通过剪枝与量化技术实现进一步优化。