[论文解读] ColloSSL: Collaborative Self-Supervised Learning for Human Activity Recognition

Yash Jain, Chi Ian Tang+3 more|arXiv (Cornell University)|Feb 1, 2022

Context-Aware Activity Recognition Systems被引用 5

一句话总结

ColloSSL 提出了一种协作式自监督学习框架，利用来自多个同步可穿戴设备的未标记惯性传感器数据，学习鲁棒的人体活动识别表征。通过将不同设备的数据视为自然变换，它采用设备选择、对比采样和多视图对比损失来生成监督信号，在 F₁ 分数上相比最先进基线模型最高提升 7.9%，且仅使用 10% 的标注数据即超越完全监督模型。

ABSTRACT

A major bottleneck in training robust Human-Activity Recognition models (HAR) is the need for large-scale labeled sensor datasets. Because labeling large amounts of sensor data is an expensive task, unsupervised and semi-supervised learning techniques have emerged that can learn good features from the data without requiring any labels. In this paper, we extend this line of research and present a novel technique called Collaborative Self-Supervised Learning (ColloSSL) which leverages unlabeled data collected from multiple devices worn by a user to learn high-quality features of the data. A key insight that underpins the design of ColloSSL is that unlabeled sensor datasets simultaneously captured by multiple devices can be viewed as natural transformations of each other, and leveraged to generate a supervisory signal for representation learning. We present three technical innovations to extend conventional self-supervised learning algorithms to a multi-device setting: a Device Selection approach which selects positive and negative devices to enable contrastive learning, a Contrastive Sampling algorithm which samples positive and negative examples in a multi-device setting, and a loss function called Multi-view Contrastive Loss which extends standard contrastive loss to a multi-device setting. Our experimental results on three multi-device datasets show that ColloSSL outperforms both fully-supervised and semi-supervised learning techniques in majority of the experiment settings, resulting in an absolute increase of upto 7.9% in F_1 score compared to the best performing baselines. We also show that ColloSSL outperforms the fully-supervised methods in a low-data regime, by just using one-tenth of the available labeled data in the best case.

研究动机与目标

• 为解决收集大规模标注惯性传感器数据用于人体活动识别（HAR）所面临的高成本和可扩展性限制。
• 探究是否可利用多个同步可穿戴设备的未标记数据，生成有效的监督信号以用于表征学习。
• 开发一种专为 HAR 中多设备、时间同步传感器数据设计的新颖对比学习框架。
• 提升模型泛化能力与数据效率，特别是在低数据场景下。

提出的方法

• 提出一种设备选择策略，基于传感器距离和运动相似性识别正样本设备与负样本设备，以形成有意义的对比对。
• 提出一种对比采样算法，从多个设备中采样正负视图，构建对比学习批次。
• 设计一种多视图对比损失函数，将标准对比损失扩展至处理多个设备视图，实现联合表征学习。
• 采用孪生神经网络架构，对每个设备的特征进行编码，并通过对比优化实现对齐。
• 利用多个配备 IMU 的设备（如智能手机、智能手表）的时间同步数据作为同一活动的自然变换。
• 在对比学习前，对单个设备流应用标准数据增强（如掩码、旋转）操作。

实验结果

研究问题

• RQ1 能否利用多个同步可穿戴设备的未标记数据，为 HAR 中的自监督学习生成有意义的监督信号？
• RQ2 在 F₁ 分数和数据效率方面，ColloSSL 与完全监督和半监督学习基线相比表现如何？
• RQ3 ColloSSL 是否能学习到解耦的、语义上有意义的表征，从而提升模型可解释性与泛化能力？
• RQ4 当仅使用少量标注数据时，模型在低数据场景下的表现如何，特别是当仅使用部分标注数据时？

主要发现

• ColloSSL 在三个多设备 HAR 数据集上，相比最佳性能的基线模型，F₁ 分数最高提升 7.9%。
• 当仅使用 10% 的标注数据时，ColloSSL 的性能超越完全监督模型，展现出强大的数据效率。
• 模型学习到分离良好、语义明确的特征，这一点通过显著性图可视化得到验证，显示注意力集中在相关传感器信号上。
• 该框架在多种传感器模态和设备类型间表现出良好的泛化能力，表明其应用潜力不仅限于惯性传感。