[论文解读] Personalized Step Counting Using Wearable Sensors: A Domain Adapted LSTM Network Approach

Arvind Pillai, Halsey Lea+2 more|arXiv (Cornell University)|Dec 11, 2020

Context-Aware Activity Recognition Systems被引用 5

一句话总结

本文提出一种领域自适应的LSTM网络，用于利用可穿戴传感器数据进行个性化步数计数，通过迁移学习仅用少量个体特定数据微调通用模型。通过在新设备和个体群体上微调预训练模型，该方法实现了约98.8%的步数计数准确率，展示了在不同个体和设备间具有高度准确性和鲁棒性。

ABSTRACT

Activity monitors are widely used to measure various physical activities (PA) as an indicator of mobility, fitness and general health. Similarly, real-time monitoring of longitudinal trends in step count has significant clinical potential as a personalized measure of disease related changes in daily activity. However, inconsistent step count accuracy across vendors, body locations, and individual gait differences limits clinical utility. The tri-axial accelerometer inside PA monitors can be exploited to improve step count accuracy across devices and individuals. In this study, we hypothesize: (1) raw tri-axial sensor data can be modeled to create reliable and accurate step count, and (2) a generalized step count model can then be efficiently adapted to each unique gait pattern using very little new data. Firstly, open-source raw sensor data was used to construct a long short term memory (LSTM) deep neural network to model step count. Then we generated a new, fully independent data set using a different device and different subjects. Finally, a small amount of subject-specific data was domain adapted to produce personalized models with high individualized step count accuracy. These results suggest models trained using large freely available datasets can be adapted to patient populations where large historical data sets are rare.

研究动机与目标

• 开发一种可泛化于不同可穿戴设备和个体步态模式的个性化步数计数系统。
• 解决因设备差异和个体步态不同导致的步数计数准确率不一致的问题。
• 评估预训练深度学习模型是否可通过极少标注数据有效微调以实现个性化性能。
• 证明在缺乏大规模历史数据集的临床环境中，迁移学习的可行性。

提出的方法

• 采用一个包含两个全连接层（512和256个单元）的多对一256单元LSTM网络，激活函数为ReLU，用于步数分类。
• 输入特征由0.466秒的三轴加速度计（g）和陀螺仪（deg/sec）数据窗口组成，重采样至15Hz。
• 通过Softmax层将每个窗口分类为左步或右步，步态转换次数计为总步数。
• 通过微调在Pedometer数据集（Shimmer3）上预训练的通用模型，应用领域自适应，仅使用来自AZ数据集（ActiGraph GT9X Link）的30秒个体特定数据。
• 使用分类准确率和步数计数准确率指标进行模型评估，真实标签基于视频确认的标注结果。
• 通过领域自适应应用迁移学习，其中源分布与目标分布不同（P(X_S) ≠ P(X_T)），但标签空间相同。

实验结果

研究问题

• RQ1 在大型公开数据集上训练的深度学习模型，是否能通过极少适应泛化到新可穿戴设备和个体？
• RQ2 当通用模型应用于新设备和个体群体而未进行适应时，性能会如何下降？
• RQ3 少量个体特定数据在多大程度上可通过领域自适应提升步数计数准确率？
• RQ4 在跨设备和跨个体场景中，领域自适应模型是否能优于通用模型？

主要发现

• 通用LSTM模型（LSTM-General I）在源Pedometer数据集上实现了98.63%的步数计数准确率，表明其具备强大的基线性能。
• 在新设备和个体群体（AZ数据集）上测试时，通用模型的准确率显著下降至94.49%（步数计数准确率）和60.01%（分类准确率），表明其跨设备泛化能力差。
• 在仅使用30秒个体特定数据进行领域自适应后，个性化模型（LSTM-Personalized）实现了98.81%的步数计数准确率和91.76%的分类准确率，优于在新数据集上测试的通用模型。
• 个性化模型的中位性能与通用模型相当，表明其在不同个体间实现了有效适应。
• 个性化模型有效缓解了异常情况下的性能下降，对个体步态差异表现出鲁棒性。
• 结果证实，仅需极少标注数据即可通过迁移学习在个性化步数计数中实现临床可接受的准确率。