[论文解读] Deep Learning for Sensor-based Human Activity Recognition: Overview, Challenges and Opportunities

Kaixuan Chen, Dalin Zhang+4 more|arXiv (Cornell University)|Jan 21, 2020

Context-Aware Activity Recognition Systems参考文献 195被引用 319

一句话总结

本综述评估用于基于传感器的人类活动识别的最前沿深度学习方法，将挑战分类并映射深度技术到公开问题、数据集和未来方向。

ABSTRACT

The vast proliferation of sensor devices and Internet of Things enables the applications of sensor-based activity recognition. However, there exist substantial challenges that could influence the performance of the recognition system in practical scenarios. Recently, as deep learning has demonstrated its effectiveness in many areas, plenty of deep methods have been investigated to address the challenges in activity recognition. In this study, we present a survey of the state-of-the-art deep learning methods for sensor-based human activity recognition. We first introduce the multi-modality of the sensory data and provide information for public datasets that can be used for evaluation in different challenge tasks. We then propose a new taxonomy to structure the deep methods by challenges. Challenges and challenge-related deep methods are summarized and analyzed to form an overview of the current research progress. At the end of this work, we discuss the open issues and provide some insights for future directions.

研究动机与目标

• 激发基于传感器的活动识别及其应用领域（智能家居、医疗保健、制造业）。
• 突出传感器数据中的独特挑战（特征提取、数据稀缺、分布偏移、分段、多主体场景、隐私和可行性）。
• 提供与这些挑战对齐的深度学习方法的分类法，并分析它们如何应对这些挑战。
• 展示用于评估挑战特定方法的公开数据集与模态。
• 提供开放问题及面向未来研究方向的可操作见解。

提出的方法

• 提出按其解决的传感器基于活动识别挑战组织的深度学习方法分类法。
• 讨论使用 RNNs（LSTM/GRU）进行的时序特征提取、CNNs（包括 1D、多尺度、扩张以及模态特定变体）以及混合 CNN-RNN 架构。
• 探索多模态特征提取与融合策略（早期融合 vs. 传感融合），包括基于特征的方法和分类器集成方法。
• 总结传感模态（可穿戴、环境、对象及其他模态）及其数据集，关注数据类型及诸如类别不平衡和分布差异等挑战。
• 评述公开数据集及其在评估各种挑战（多模态、复合活动、多参与者场景）方面的适用性。
• 突出在基于传感器的活动识别领域中深度学习的开放问题与潜在未来方向。

实验结果

研究问题

• RQ1 基于传感的人类活动识别的主要独特挑战是什么，深度学习方法如何定制以应对这些挑战？
• RQ2 不同深度学习架构和融合策略在不同传感模态和数据集上的表现如何？
• RQ3 存在哪些用于评估挑战特定方法的公开数据集，以及它们的特征是什么？
• RQ4 哪些未来研究方向和开放问题可以引导开发更健壮、可扩展且隐私保护的 HAR 系统？

主要发现

• 深度学习使从多模态传感数据的端到端学习成为可能，通过学习分层表示来解决特征提取挑战。
• 时序特征提取由 LSTM/GRU 及含扩张和多尺度方法的 CNN 变体有效处理，关注时间尺度的多样性。
• 多模态融合策略（早期融合、传感融合与分类器集成）在捕捉模态内和模态间相关性方面具有不同的权衡。
• 各种传感模态（可穿戴、环境、对象及其他）及数据集支持从简单到复杂活动的评估，包括复合及多参与者场景。
• 该综述提供了将挑战与方法联系起来的分类法，强调了可用的公开数据集，并讨论了开放问题与未来方向。