[论文解读] ActiveHARNet: Towards On-Device Deep Bayesian Active Learning for Human Activity Recognition

Gautham Krishna Gudur, Prahalathan Sundaramoorthy+1 more|arXiv (Cornell University)|May 31, 2019

Context-Aware Activity Recognition Systems参考文献 20被引用 11

一句话总结

ActiveHARNet 提出了一种资源高效的、基于设备的贝叶斯主动学习框架，用于使用蒙特卡洛 dropout 进行不确定性估计的深度集成模型，实现人体活动识别。该框架通过采集函数仅选择最具信息量的样本，实现增量学习，显著减少标注需求，标注需求至少降低 60%，同时在可穿戴 HAR 和跌倒检测数据集上保持高准确率。

ABSTRACT

Various health-care applications such as assisted living, fall detection etc., require modeling of user behavior through Human Activity Recognition (HAR). HAR using mobile- and wearable-based deep learning algorithms have been on the rise owing to the advancements in pervasive computing. However, there are two other challenges that need to be addressed: first, the deep learning model should support on-device incremental training (model updation) from real-time incoming data points to learn user behavior over time, while also being resource-friendly; second, a suitable ground truthing technique (like Active Learning) should help establish labels on-the-fly while also selecting only the most informative data points to query from an oracle. Hence, in this paper, we propose ActiveHARNet, a resource-efficient deep ensembled model which supports on-device Incremental Learning and inference, with capabilities to represent model uncertainties through approximations in Bayesian Neural Networks using dropout. This is combined with suitable acquisition functions for active learning. Empirical results on two publicly available wrist-worn HAR and fall detection datasets indicate that ActiveHARNet achieves considerable efficiency boost during inference across different users, with a substantially low number of acquired pool points (at least 60% reduction) during incremental learning on both datasets experimented with various acquisition functions, thus demonstrating deployment and Incremental Learning feasibility.

研究动机与目标

• 为解决在设备端 HAR 系统中对大规模实时可穿戴传感器数据进行标注的挑战。
• 通过设备端增量学习实现模型的持续自适应，而无需从头开始重新训练。
• 通过不确定性感知的主动学习，仅选择最具信息量的数据点，从而减轻标注负担。
• 在资源受限的边缘设备（如智能手机和智能手表）上部署轻量化、高效的贝叶斯深度学习模型。
• 评估主动学习在真实世界、用户特定的 HAR 和跌倒检测场景中的可行性与性能。

提出的方法

• 采用使用蒙特卡洛 dropout 的贝叶斯深度集成模型，以近似后验分布并估计模型不确定性。
• 集成多种采集函数——变异比率（Variation Ratio）、BALD、最大熵（MaxEntropy）和随机采样，以选择最具信息量的未标注样本进行人工查询。
• 通过使用新获取的标签更新模型，支持设备端推理和增量学习，以应对持续流入的数据流。
• 采用基于时间的池化机制（例如 15 分钟窗口）来管理数据收集，平衡标注效率与实时响应能力。
• 在模型推理前，应用离散小波变换（DWT）进行特征提取并进行降采样，以降低计算负载。
• 将模型大小优化至约 180–315 kB，适用于树莓派 2 等边缘设备，确保低内存占用和低延迟。

实验结果

研究问题

• RQ1 在设备端 HAR 系统中，结合不确定性估计的贝叶斯主动学习能否减少所需标签数量？
• RQ2 不同采集函数（如变异比率、BALD）在最小化标注工作量的同时，如何保持模型准确率？
• RQ3 能否在设备端以极低计算开销高效执行增量学习？
• RQ4 ActiveHARNet 在不同用户和异构可穿戴数据集（HHAR 和 Notch）上的表现如何？
• RQ5 在边缘设备上，主动学习在推理和采集时间方面的实时可行性如何？

主要发现

• 与随机采样相比，ActiveHARNet 在 HHAR 和 Notch 数据集上均将所需采集点数量至少减少了 60%。
• 变异比率采集函数实现了最高的分类效率，在 Notch 数据集上仅使用 150 个采集窗口（η=0.4）时 f1-score 达到 0.956。
• 在 Notch 数据集上，所有用户平均 f1-score 在 η=0.4 时达到 94.3%，在 η=0.6 时达到 94.8%，显著优于基线模型（92.8%），且标注点数量大幅减少。
• 在树莓派 2 上，HHAR 数据集每窗口推理时间约为 14 ms，Notch 数据集约为 11 ms，每次迭代的总采集时间约为 14 秒（基于 10 次 dropout 迭代）。
• 模型大小被缩减至 Notch 数据集约 180 kB，HHAR 数据集约 315 kB，使其适用于低资源边缘设备的部署。
• 变异比率在收敛速度和测试准确率方面优于 BALD 和 MaxEntropy，而随机采样在 f1-score 和收敛速度方面表现最差。