[论文解读] Deep Recurrent Neural Network for Mobile Human Activity Recognition with High Throughput

Masaya Inoue, Sozo Inoue+1 more|arXiv (Cornell University)|Nov 11, 2016

Context-Aware Activity Recognition Systems参考文献 24被引用 8

一句话总结

该论文提出了一种深度循环神经网络（DRNN），用于使用原始加速度计数据进行实时人体活动识别，通过消除特征提取实现了高准确率和高吞吐量。DRNN在单人活动测试中达到95.42%的识别准确率，在序列活动测试中达到83.43%的准确率，推理延迟仅为1.347毫秒——比需要11.031毫秒的传统方法快8.19倍，后者包括11.027毫秒的特征计算时间。

ABSTRACT

In this paper, we propose a method of human activity recognition with high throughput from raw accelerometer data applying a deep recurrent neural network (DRNN), and investigate various architectures and its combination to find the best parameter values. The "high throughput" refers to short time at a time of recognition. We investigated various parameters and architectures of the DRNN by using the training dataset of 432 trials with 6 activity classes from 7 people. The maximum recognition rate was 95.42% and 83.43% against the test data of 108 segmented trials each of which has single activity class and 18 multiple sequential trials, respectively. Here, the maximum recognition rates by traditional methods were 71.65% and 54.97% for each. In addition, the efficiency of the found parameters was evaluated by using additional dataset. Further, as for throughput of the recognition per unit time, the constructed DRNN was requiring only 1.347 [ms], while the best traditional method required 11.031 [ms] which includes 11.027 [ms] for feature calculation. These advantages are caused by the compact and small architecture of the constructed real time oriented DRNN.

研究动机与目标

• 开发一种使用原始加速度计数据的实时人体活动识别系统，具备高吞吐量。
• 研究最优的DRNN架构和超参数，以最大化识别准确率和推理速度。
• 将DRNN的性能与依赖手工特征提取的传统机器学习方法进行对比。
• 评估DRNN在计算资源有限的移动设备上部署的效率和可扩展性。

提出的方法

• 使用深度循环神经网络（DRNN）直接处理原始时间序列加速度计数据，无需预先进行特征提取。
• 采用堆叠的RNN架构，通过多层循环网络建模顺序传感器数据中的时间依赖性。
• 应用梯度裁剪和dropout正则化以稳定训练过程并防止过拟合。
• 通过广泛的消融实验优化超参数，包括截断反向传播时间、学习率和dropout率。
• 使用HASC数据集，其中包含来自7名受试者的432个分割测试样本，涵盖6种类别的活动，用于训练和验证。
• 在CPU上评估推理吞吐量，通过测量每个输入样本的识别延迟来评估实时可行性。

Figure 2: Back propagation in DRNN

实验结果

研究问题

• RQ1 当直接处理原始加速度计数据时，深度循环神经网络是否能实现比传统方法更高的识别准确率？
• RQ2 哪些DRNN架构和超参数（如截断时间、dropout率）能最大化人体活动识别任务的识别性能？
• RQ3 与包含耗时特征提取的传统方法相比，DRNN的推理吞吐量如何？
• RQ4 优化后的DRNN参数在其他数据集（如HAR开放数据集）上的泛化能力如何？
• RQ5 DRNN能否在计算开销极小的前提下实现适合移动设备部署的实时性能？

主要发现

• DRNN在单人活动测试中的最大识别准确率达到95.42%，显著高于传统方法的71.65%。
• 在多个连续活动测试中，DRNN达到83.43%的准确率，而传统方法仅为54.97%。
• DRNN每个样本的推理延迟仅为1.347毫秒，比传统方法的11.031毫秒快8.19倍，后者包括11.027毫秒的特征提取时间。
• DRNN的总参数量少于传统CNN+LSTM模型的10%，使其能够实现紧凑的移动设备部署。
• 超参数调优——尤其是dropout率约为50%——显著提升了泛化能力和识别准确率。
• 优化后的DRNN参数在HAR开放数据集上实现了95.03%的准确率，证实了所学习特征的可迁移性和鲁棒性。

Figure 3: Structural drawing of LSTM