[论文解读] Scaling Wearable Foundation Models

Girish Narayanswamy, Xin Liu+16 more|arXiv (Cornell University)|Oct 17, 2024

Architecture and Computational Design被引用 5

一句话总结

本文在多达 40 million hours 的多模态可穿戴数据上训练一个大型传感器模型（LSM），来自 165k+ 用户，以研究插补、插值、外推和下游识别任务的扩展规律。结果表明，随着计算、数据和模型规模的增加，性能提升，但在高规模时趋于饱和。

ABSTRACT

Wearable sensors have become ubiquitous thanks to a variety of health tracking features. The resulting continuous and longitudinal measurements from everyday life generate large volumes of data; however, making sense of these observations for scientific and actionable insights is non-trivial. Inspired by the empirical success of generative modeling, where large neural networks learn powerful representations from vast amounts of text, image, video, or audio data, we investigate the scaling properties of sensor foundation models across compute, data, and model size. Using a dataset of up to 40 million hours of in-situ heart rate, heart rate variability, electrodermal activity, accelerometer, skin temperature, and altimeter per-minute data from over 165,000 people, we create LSM, a multimodal foundation model built on the largest wearable-signals dataset with the most extensive range of sensor modalities to date. Our results establish the scaling laws of LSM for tasks such as imputation, interpolation and extrapolation, both across time and sensor modalities. Moreover, we highlight how LSM enables sample-efficient downstream learning for tasks like exercise and activity recognition.

研究动机与目标

• 激励从大规模未标注的可穿戴传感器数据中学习鲁棒表示，以推动更广泛的科学与健康洞察。
• 研究神经网络扩展规律是否可扩展到跨计算、数据量和模型规模的多模态可穿戴数据。
• 评估大型多模态基础模型（LSM）在生成性（插补/插值/外推）和判别性（运动/活动识别）任务上的性能。
• 识别扩展可穿戴基础模型时的数据、模型和训练方面的实际考虑，并分析样本效率与泛化性。
• 讨论在可穿戴传感器建模中改进扩展性与鲁棒性的局限性与未来方向。

提出的方法

• 使用80%掩蔽的掩码信号重建目标对一个多模态可穿戴基础模型（LSM）进行预训练。
• 将数据处理为每个受试者在300分钟段中的26个信号，使用来自可穿戴设备的逐分钟摘要（PPG、ACC、EDA、皮肤温度、气压计）。
• 在来自165,090名受试者的超大规模数据上进行训练，在某些实验中用于预训练的数据量为660万，使用 Google TPUs，批量大小为4096，迭代50,000步。
• 定义四个生成式预训练任务：随机插补、时序插值、传感器（多模态）插补，以及时序外推（预测）
• 评估下游判别任务，包括运动检测和八分类活动识别。
• 通过改变计算、数据量和模型规模来分析扩展规律，并评估数据小时数与受试者数量的影响以及标签效率。

实验结果

研究问题

• RQ1 扩展规律（计算/数据/模型规模）是否也适用于与语言/视觉领域类似的可穿戴传感器基础模型？
• RQ2 生成性任务（插补/插值/外推）如何随数据、模型规模和计算的增加而扩展？
• RQ3 与监督基线相比，使用LSM在判别性任务上的下游性能提升是多少？
• RQ4 哪些数据和数据集设计选择可以优化可穿戴基础模型的样本效率和泛化？
• RQ5 在扩展可穿戴传感器模型时的局限性和饱和点是什么？

主要发现

• 重构损失与计算之间存在Pareto前沿的扩展关系，遵循带有加性饱和项的幂律，表明在极高计算下收益递减。
• 数据扩展在约1e5小时时表现提升，超过约1e7小时后收益减弱；扩展超过40 million hours在某些实验中收获甚微。
• 更大规模的模型需要显著更多的数据以避免过拟合；数据与模型规模的共同扩展在时间插值（MAE减少16-23%）和外推（MAE减少20-21%）等多个时域内带来显著改进。
• LSM 在判别任务上优于基线，在运动检测和八分类活动识别方面，分别达到更高的准确率27%/29%和更高的mAP 57%/54%，相比监督基线。
• 可穿戴基础模型表现出强标签效率，在低数据条件下具有更好的泛化，并在预训练后对下游任务的迁移能力有所提升。