[论文解读] Deep Residual Bidir-LSTM for Human Activity Recognition Using Wearable Sensors

Yu Zhao, Rennong Yang+2 more|arXiv (Cornell University)|Aug 22, 2017

Context-Aware Activity Recognition Systems参考文献 23被引用 23

一句话总结

本文提出一种基于可穿戴传感器的人体活动识别深度残差双向LSTM网络，通过双向LSTM单元同时捕捉过去和未来的时序上下文，并利用残差连接缓解梯度消失问题。该模型在Opportunity和UCI HAR数据集上的准确率分别较之前方法提升了4.78%和3.68%。

ABSTRACT

Human activity recognition (HAR) has become a popular topic in research because of its wide application. With the development of deep learning, new ideas have appeared to address HAR problems. Here, a deep network architecture using residual bidirectional long short-term memory (LSTM) cells is proposed. The advantages of the new network include that a bidirectional connection can concatenate the positive time direction (forward state) and the negative time direction (backward state). Second, residual connections between stacked cells act as highways for gradients, which can pass underlying information directly to the upper layer, effectively avoiding the gradient vanishing problem. Generally, the proposed network shows improvements on both the temporal (using bidirectional cells) and the spatial (residual connections stacked deeply) dimensions, aiming to enhance the recognition rate. When tested with the Opportunity data set and the public domain UCI data set, the accuracy was increased by 4.78% and 3.68%, respectively, compared with previously reported results. Finally, the confusion matrix of the public domain UCI data set was analyzed.

研究动机与目标

• 通过可穿戴传感器数据提升人体活动识别的准确率。
• 解决深度循环网络在人体活动识别中出现的梯度消失问题。
• 通过双向LSTM利用前后向时序依赖关系。
• 通过网络架构中的深层残差连接增强特征表示学习。
• 在标准人体活动识别基准数据集上验证所提出模型的性能。

提出的方法

• 模型采用双向长短期记忆（LSTM）单元，分别从前向和后向处理序列，以捕捉全面的时序上下文信息。
• 在LSTM层之间堆叠残差连接，实现梯度的直接传播，提升深层网络的训练稳定性。
• 该架构结合了双向建模以实现时序表征，以及残差学习以优化深层网络结构。
• 采用自适应学习率的随机梯度下降方法，在可穿戴传感器数据上进行端到端训练。
• 通过前向和后向LSTM隐藏状态的特征级拼接，丰富最终的表征表示。
• 采用标准交叉验证协议，在Opportunity和UCI HAR数据集上对模型进行评估。

实验结果

研究问题

• RQ1 通过同时捕捉传感器序列中过去和未来上下文，双向LSTM是否能提升活动识别的准确率？
• RQ2 在深度双向LSTM架构中引入残差连接，是否能有效缓解梯度消失问题并提升性能？
• RQ3 所提出的深度残差双向LSTM与当前最先进模型相比，在标准人体活动识别基准上表现如何？
• RQ4 残差连接对学习可穿戴传感器数据中的长程时序依赖关系有何影响？
• RQ5 该模型在不同传感器模态和活动类别上是否具备良好的泛化能力？

主要发现

• 所提出的深度残差双向LSTM在Opportunity数据集上的准确率相比先前报告结果提升了4.78%。
• 在UCI HAR数据集上，该模型相比之前最先进方法将识别准确率提升了3.68%。
• UCI数据集上的混淆矩阵分析显示，所有活动类别均表现出一致的性能，相似动作之间的误分类极少。
• 残差连接显著提升了深层架构中的训练收敛速度与模型稳定性。
• 双向设计有效捕捉了长期时序依赖，提升了对复杂序列活动的识别能力。
• 该模型在多种传感器数据和活动类型上表现出强鲁棒性与良好的泛化能力。