[论文解读] Continual Learning in Human Activity Recognition: an Empirical Analysis of Regularization

Saurav Jha, Martin Schiemer+1 more|arXiv (Cornell University)|Jul 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 15被引用 11

一句话总结

本文在基于传感器的人体活动识别（HAR）数据集上评估了基于正则化的持续学习方法——LwF、EWC、MAS、LUCIR 和 ILOS，发现大多数正则化项在与记忆回放结合时几乎无益甚至会损害性能。主要贡献在于表明，在HAR中记忆回放主导了性能表现，导致正则化失效，原因在于数据集不平衡、类间相似性以及资源限制。

ABSTRACT

Given the growing trend of continual learning techniques for deep neural networks focusing on the domain of computer vision, there is a need to identify which of these generalizes well to other tasks such as human activity recognition (HAR). As recent methods have mostly been composed of loss regularization terms and memory replay, we provide a constituent-wise analysis of some prominent task-incremental learning techniques employing these on HAR datasets. We find that most regularization approaches lack substantial effect and provide an intuition of when they fail. Thus, we make the case that the development of continual learning algorithms should be motivated by rather diverse task domains.

研究动机与目标

• 评估正则化为基础的持续学习技术在人体活动识别（HAR）这一与计算机视觉不同的领域中的有效性。
• 探究为图像分类开发的正则化方法是否能泛化到HAR，鉴于HAR具有类别不平衡和传感器数据多样性等独特挑战。
• 评估在计算资源有限的情况下，HAR场景中正则化与记忆回放之间的相互作用。
• 识别正则化技术在持续HAR中的失败模式，尤其是在与记忆回放结合时。
• 倡导将持续学习研究扩展至计算机视觉之外的多样化、真实世界领域，如HAR。

提出的方法

• 本研究评估了五种正则化技术：LwF（知识蒸馏）、EWC（基于费舍尔信息的参数重要性）、RWC（旋转EWC）、MAS（基于梯度的参数重要性）、LUCIR（边际排序与蒸馏损失）以及ILOS（交叉蒸馏损失）。
• 实验在两个公开的HAR数据集上进行：WS（环境传感器，9种不平衡活动）和DSADS（基于加速度计，19种平衡活动）。
• 每种方法的性能在有无记忆回放（MemR）的情况下进行评估，使用F1微平均/宏平均分数、遗忘分数（F）以及各类别类型（基础、旧、新）的准确率。
• 采用下界（仅交叉熵损失）和上界（使用所有任务进行离线训练）作为性能基准。
• 记忆回放的保留样本大小在 S ∈ {2,4,6,8,10,15} 范围内变化，以评估内存容量对性能的影响。
• 分析重点包括可塑性-稳定性权衡、F1微平均与宏平均分数之间的差异，以及类别不平衡对正则化有效性的影响。

实验结果

研究问题

• RQ1 为计算机视觉开发的基于正则化的持续学习方法是否能有效泛化到人体活动识别（HAR）数据集？
• RQ2 记忆回放的引入如何影响HAR中正则化项的性能及其相对贡献？
• RQ3 为何某些正则化技术如ILOS和LUCIR在新类别上表现不佳，尽管在旧类别上表现良好？
• RQ4 HAR中的数据集不平衡和类间相似性在多大程度上削弱了正则化的效果？
• RQ5 正则化方法的性能更多取决于数据集特征还是可用内存容量？

主要发现

• 大多数正则化技术——尤其是ILOS和LUCIR——在与记忆回放结合时，相较于单纯的交叉熵损失，几乎未见性能提升，甚至在某些情况下表现更差。
• 记忆回放始终优于正则化，即使回放规模极小（S=2）也能带来显著性能提升，表明回放效果压倒了正则化的影响。
• ILOS在与记忆回放结合时表现出最高的遗忘分数，表明其限制性的损失设计会损害新任务的学习。
• LUCIR-MR 和 LUCIR-DIS+MR 展现出更低的遗忘分数和对旧类更好的稳定性，表明边际排序有助于保留性能，但以新类的可塑性为代价。
• 正则化方法的F1微平均与宏平均分数差异最为显著，表明其有助于平衡各类别性能，但该优势在与记忆回放结合时被削弱。
• 正则化技术的性能更多取决于数据集特征——尤其是类别不平衡——而非内存容量，这在WS（不平衡）与DSADS（平衡）数据集上的不一致表现中得以体现。