[论文解读] Assessing the State of Self-Supervised Human Activity Recognition using Wearables

Harish Haresamudram, Irfan Essa+1 more|arXiv (Cornell University)|Feb 22, 2022

Context-Aware Activity Recognition Systems被引用 5

一句话总结

本文提出了一套全面的框架，用于评估可穿戴设备上自监督学习（SSL）方法在人体活动识别（HAR）中的表现，涵盖对域偏移的鲁棒性、数据集特性以及学习表征空间特性的评估。基于九个基准数据集的50,000多次实验表明，SSL方法对类别不平衡和数据稀缺具有高度鲁棒性，其中掩码重建与多任务自监督方法展现出优异的泛化能力和表征效率。

ABSTRACT

The emergence of self-supervised learning in the field of wearables-based human activity recognition (HAR) has opened up opportunities to tackle the most pressing challenges in the field, namely to exploit unlabeled data to derive reliable recognition systems for scenarios where only small amounts of labeled training samples can be collected. As such, self-supervision, i.e., the paradigm of 'pretrain-then-finetune' has the potential to become a strong alternative to the predominant end-to-end training approaches, let alone hand-crafted features for the classic activity recognition chain. Recently a number of contributions have been made that introduced self-supervised learning into the field of HAR, including, Multi-task self-supervision, Masked Reconstruction, CPC, and SimCLR, to name but a few. With the initial success of these methods, the time has come for a systematic inventory and analysis of the potential self-supervised learning has for the field. This paper provides exactly that. We assess the progress of self-supervised HAR research by introducing a framework that performs a multi-faceted exploration of model performance. We organize the framework into three dimensions, each containing three constituent criteria, such that each dimension captures specific aspects of performance, including the robustness to differing source and target conditions, the influence of dataset characteristics, and the feature space characteristics. We utilize this framework to assess seven state-of-the-art self-supervised methods for HAR, leading to the formulation of insights into the properties of these techniques and to establish their value towards learning representations for diverse scenarios.

研究动机与目标

• 为解决可穿戴设备在医疗和真实场景中人体活动识别（HAR）领域中标签数据有限的日益严峻挑战。
• 系统评估当前自监督学习（SSL）在HAR中的研究现状，突破标准的预训练-微调范式。
• 构建一个多维评估框架，从鲁棒性、数据集影响和表征空间特性三个方面评估SSL方法。
• 为不同真实世界条件与数据分布下哪些SSL方法泛化能力最强提供可操作的见解。
• 建立标准化的评估基准（v1.0），以推动未来基于可穿戴设备的自监督HAR研究。

提出的方法

• 提出一个包含三个维度的三维评估框架：（1）对源-目标域偏移的鲁棒性，（2）数据集特性（如类别不平衡、数据量）的影响，以及（3）学习表征空间的分析。
• 采用“预训练-微调”范式：在大规模无标签数据（如MobiAct）上预训练SSL模型，然后在下游任务中使用极少的标签数据进行微调。
• 在单轴加速度计数据上评估七种先进的SSL方法：多任务自监督、掩码重建、CPC、SimCLR、自编码器等。
• 使用九个多样化的HAR基准数据集，涵盖传感器位置、活动类型、参与者数量和数据规模的差异，以检验泛化能力。
• 通过线性评估、隐式维度估计以及与监督表征的相似性分析，评估特征空间属性。
• 将源域的数据集归一化统计量（均值/方差）应用于目标域，以评估域自适应的增益。

实验结果

研究问题

• RQ1 当源域与目标域在传感器位置、活动类型或采样率上不同时，自监督HAR方法的鲁棒性如何？
• RQ2 类别不平衡与数据量等数据集特性在多大程度上影响自监督HAR模型的性能？
• RQ3 自监督模型学习到的表征在可分性、隐式维度以及与监督表征的相似性方面有何差异？
• RQ4 哪种自监督方法能在多样化的下游任务中产生最通用且可迁移的表征？
• RQ5 在目标域上使用源数据集的归一化统计量（均值与方差）对性能提升有何影响？

主要发现

• 自监督HAR方法对域偏移表现出强鲁棒性，即使在源数据与目标数据的传感器位置、活动类型或采样率不同时，仍能保持高性能。
• 掩码重建方法实现了最高的隐式维度，表明其在表征空间中的利用效率优于其他方法。
• 多任务自监督学习方法学习到的表征最通用，适用于广泛多样的下游任务。
• 即使在源数据集中存在极端类别不平衡的情况下，性能依然稳定，相比平衡数据集仅出现轻微下降。
• 在目标域上使用源数据集的归一化统计量（均值与方差）可带来显著的性能提升，凸显域对齐的重要性。
• SSL编码器的浅层表征与监督表征高度相似，而深层表征则逐渐偏离，且相邻层之间的相似性高于相距较远的层。