[论文解读] Deep Learning in Human Activity Recognition with Wearable Sensors: A Review on Advances

Shibo Zhang, Yaxuan Li+5 more|arXiv (Cornell University)|Oct 31, 2021

Context-Aware Activity Recognition Systems被引用 49

一句话总结

本综述调查基于可穿戴传感器的人体动作识别的深度学习方法，将模型、数据集、应用、挑战与未来方向进行分类。

ABSTRACT

Mobile and wearable devices have enabled numerous applications, including activity tracking, wellness monitoring, and human--computer interaction, that measure and improve our daily lives. Many of these applications are made possible by leveraging the rich collection of low-power sensors found in many mobile and wearable devices to perform human activity recognition (HAR). Recently, deep learning has greatly pushed the boundaries of HAR on mobile and wearable devices. This paper systematically categorizes and summarizes existing work that introduces deep learning methods for wearables-based HAR and provides a comprehensive analysis of the current advancements, developing trends, and major challenges. We also present cutting-edge frontiers and future directions for deep learning-based HAR.

研究动机与目标

• 提供 HAR 背景、传感器和公开数据集的概述。
• 编目可穿戴 HAR 中使用的深度学习方法并比较其优缺点。
• 系统分析 DL 基于 HAR 的进展、部署考虑与挑战。
• 确定可穿戴 HAR 中深度学习的趋势与未来方向。

提出的方法

• 按照 PRISMA 框架进行系统文献综述以选择具有代表性的研究。
• 编制并按 DL 方法进行分类（自编码器、CNN、RNN、GAN、DRL 等）。
• 评估数据集、传感器、应用及在公开 HAR 基准上的性能。
• 在公开数据集的准确性、部署可行性和模型选择标准方面比较方法。
• 综合 DL 基于 HAR 的挑战、机遇与未来方向。

实验结果

研究问题

• RQ1 RQ1 基于可穿戴设备的 HAR 的现实世界应用、主流传感器和主要公开数据集有哪些？
• RQ2 RQ2 在可穿戴 HAR 中使用了哪些深度学习方法，它们各自的优点和局限性是什么？
• RQ3 RQ3 基于 DL 的 HAR 存在哪些挑战，预计有哪些机遇或解决方案？
• RQ4 RQ4 数据集和传感器模态如何影响模型性能和部署？

主要发现

• 基于可穿戴传感器的 DL 方法在 HAR 性能上已优于传统机器学习方法。
• 综述将基于 DL 的 HAR 组织成覆盖六大主架构及其权衡的分类法。
• 公开数据集和传感器模态被严格分析以为模型选择和基准测试提供信息。
• 论文强调挑战与机遇，包括部署、隐私和数据质量方面的考虑。
• 新兴前沿如 GANs 和深度强化学习被讨论为 HAR 的前沿途径。