[论文解读] Deep, Convolutional, and Recurrent Models for Human Activity Recognition using Wearables

Nils Hammerla, Shane Halloran+1 more|arXiv (Cornell University)|Apr 29, 2016

Context-Aware Activity Recognition Systems参考文献 22被引用 372

一句话总结

该论文系统地比较了用于可穿戴传感器的人体活动识别（HAR）的深度前馈、卷积和循环模型，覆盖三个数据集，结果表明循环网络——尤其是双向 LSTM——往往优于其他模型，并提供了超参数调优的实际指南。

ABSTRACT

Human activity recognition (HAR) in ubiquitous computing is beginning to adopt deep learning to substitute for well-established analysis techniques that rely on hand-crafted feature extraction and classification techniques. From these isolated applications of custom deep architectures it is, however, difficult to gain an overview of their suitability for problems ranging from the recognition of manipulative gestures to the segmentation and identification of physical activities like running or ascending stairs. In this paper we rigorously explore deep, convolutional, and recurrent approaches across three representative datasets that contain movement data captured with wearable sensors. We describe how to train recurrent approaches in this setting, introduce a novel regularisation approach, and illustrate how they outperform the state-of-the-art on a large benchmark dataset. Across thousands of recognition experiments with randomly sampled model configurations we investigate the suitability of each model for different tasks in HAR, explore the impact of hyperparameters using the fANOVA framework, and provide guidelines for the practitioner who wants to apply deep learning in their problem setting.

研究动机与目标

• 促进在 HAR 中使用深度学习，作为手工设计特征的替代方案。
• 系统性地比较代表性 HAR 任务中的深度前馈、卷积与循环模型。
• 使用 fANOVA 框架分析超参数对性能的影响。
• 为在现实世界环境中应用深度学习进行 HAR 的从业者提供实用指南。

提出的方法

• 实现深度前馈网络（DNN），最多五个隐藏层，并使用 dropout 与 max-in-norm 正则化。
• 实现卷积网络（CNN），具有时序卷积和最大池化，以及全连接层和正则化。
• 实现基于 LSTM 单元的循环网络，包括前向 LSTMs（LSTM-F）、逐样本前向 LSTMs（LSTM-S）和双向 LSTMs（b-LSTM-S）。
• 在帧级运动数据上训练网络，对于 RNN，引入一种新颖的携带式正则化，在带有携带概率的情况下将内部状态重置为零。
• 使用随机梯度下降/ AdaGrad 进行训练，并在三个 HAR 数据集上以平均 F1-score 和加权 F1-score 进行评估。

实验结果

研究问题

• RQ1 在不同活动类型和持续时间下，哪一类深度学习模型（DNN、CNN、RNN）最适合 HAR 任务？
• RQ2 在每个模型类别中，学习、正则化、结构等超参数如何影响 HAR 性能？
• RQ3 RNNs 是否能够在逐样本级别对运动数据建模，以实现实时或在线 HAR？
• RQ4 在为不同数据集和任务选择和调优 HAR 模型时，实践者会得到哪些指南？

主要发现

• 双向 LSTMs (b-LSTM-S) 在 Opportunity 上实现了最佳的平均 F1，并超越该数据集的最先进性能。
• 在短期、时间有序的活动中，双向和前向 LSTMs 常常优于 CNNs 和 DNNs，能够逐样本进行预测。
• CNN 在持续、重复性活动中优于 DNN，但对学习率和正则化设置的敏感性更高。
• 超参数的最大影响来自 CNN 的学习设置以及双向 LSTMs 的单元数量，不同数据集呈现出不同的敏感性。
• 在所有数据集上，RNNs 显示出显著的性能提升，并在不进行大量基于帧的分割的情况下对实时 HAR 提供潜力。