[论文解读] Importance of user inputs while using incremental learning to personalize human activity recognition models

Pekka Siirtola, Heli Koskimäki+1 more|arXiv (Cornell University)|May 28, 2019

Context-Aware Activity Recognition Systems参考文献 8被引用 4

一句话总结

本文提出了一种半监督增量学习方法，用于使用惯性传感器数据个性化人体活动识别模型，用户仅标注不确定的预测（占数据的12–26%），在最小化用户工作量的同时实现了接近全监督的准确率。该方法有效缓解了概念漂移，错误率与全监督方法相差不到2个百分点，显著优于无监督和用户无关模型。

ABSTRACT

In this study, importance of user inputs is studied in the context of personalizing human activity recognition models using incremental learning. Inertial sensor data from three body positions are used, and the classification is based on Learn++ ensemble method. Three different approaches to update models are compared: non-supervised, semi-supervised and supervised. Non-supervised approach relies fully on predicted labels, supervised fully on user labeled data, and the proposed method for semi-supervised learning, is a combination of these two. In fact, our experiments show that by relying on predicted labels with high confidence, and asking the user to label only uncertain observations (from 12% to 26% of the observations depending on the used base classifier), almost as low error rates can be achieved as by using supervised approach. In fact, the difference was less than 2%-units. Moreover, unlike non-supervised approach, semi-supervised approach does not suffer from drastic concept drift, and thus, the error rate of the non-supervised approach is over 5%-units higher than using semi-supervised approach.

研究动机与目标

• 通过引入用户反馈，解决个性化人体活动识别中增量学习的的概念漂移问题。
• 评估在使用惯性传感器数据个性化模型时，标注工作量与识别准确率之间的权衡。
• 比较无监督、半监督和监督学习方法在增量模型个性化中的表现。
• 确定实现接近监督学习性能所需的最小用户输入量。
• 评估基础分类器选择和置信度阈值对标注效率和模型准确率的影响。

提出的方法

• 采用Learn++集成方法进行增量学习，实现在无需完整重新训练的情况下在线更新模型。
• 评估三种基础分类器（LDA、QDA和CART）在生成预测置信度分数方面的性能。
• 采用半监督方法，选择置信度高于阈值（0.90或0.95）的预测进行模型更新，而置信度低于阈值的不确定预测则被标记为用户标注。
• 用户标注的样本用于纠正误判并防止概念漂移，同时相邻的两个时间窗口也一并标注以提供上下文信息。
• 该方法结合流式数据预测与选择性人工反馈，随时间逐步提升模型准确率。
• 通过三个人体位置（腰部、手腕、手臂）的数据，采用留一主体交叉验证，在九名受试者上计算平衡准确率。

实验结果

研究问题

• RQ1 半监督增量学习方法是否能减少用户标注工作量，同时在个性化人体活动识别中保持高识别准确率？
• RQ2 与无监督和全监督方法相比，包含用户标注的不确定预测是否能提升模型性能？
• RQ3 基于置信度选择需用户标注样本的最优阈值是多少？该阈值如何随基础分类器的不同而变化？
• RQ4 与无监督增量学习相比，半监督方法在多大程度上缓解了概念漂移？
• RQ5 基础分类器选择（LDA、QDA、CART）如何影响标注效率和最终模型准确率？

主要发现

• 半监督方法的平均错误率为4.2–4.3%，而无监督方法为9.5%，表明其显著缓解了概念漂移。
• 通过仅标注12–26%的样本（取决于分类器），半监督方法的错误率与全监督方法相差不到2个百分点。
• 半监督方法的错误率始终低于无监督学习方法，差异在5.7–11.4个百分点之间，具体取决于基础分类器和身体位置。
• 0.90和0.95两个阈值之间未观察到显著差异，两者均导致相似的标注率（12–26%）和模型性能。
• 该方法将需替换的标签数量减少至原始数据的25–47%（取决于分类器），同时保持了高准确率。
• 在所有分类器和身体位置下，该方法在错误率降低方面均优于用户无关模型超过10个百分点。