[论文解读] On-Device Transfer Learning for Personalising Psychological Stress Modelling using a Convolutional Neural Network

Kieran Woodward, Eiman Kanjo+2 more|arXiv (Cornell University)|Apr 3, 2020

Emotion and Mood Recognition参考文献 12被引用 6

一句话总结

本论文提出一种基于1D卷积神经网络（CNN）的设备端迁移学习方法，利用有限的真实世界生理数据（心率HR、心率变异性HRV、皮肤电活动EDA）对心理压力建模进行个性化。通过在边缘设备上实时标注数据，对小样本、个体特定的数据集进行微调，该方法在个体生理差异性和数据稀缺的条件下，实现了更高的个性化水平和跨领域性能。

ABSTRACT

Stress is a growing concern in modern society adversely impacting the wider population more than ever before. The accurate inference of stress may result in the possibility for personalised interventions. However, individual differences between people limits the generalisability of machine learning models to infer emotions as people's physiology when experiencing the same emotions widely varies. In addition, it is time consuming and extremely challenging to collect large datasets of individuals' emotions as it relies on users labelling sensor data in real-time for extended periods. We propose the development of a personalised, cross-domain 1D CNN by utilising transfer learning from an initial base model trained using data from 20 participants completing a controlled stressor experiment. By utilising physiological sensors (HR, HRV EDA) embedded within edge computing interfaces that additionally contain a labelling technique, it is possible to collect a small real-world personal dataset that can be used for on-device transfer learning to improve model personalisation and cross-domain performance.

研究动机与目标

• 解决压力建模中个体生理差异性带来的挑战，该挑战限制了机器学习模型的泛化能力。
• 克服为压力推断收集大规模、实时标注的生理数据的困难。
• 利用迁移学习开发一种个性化、跨领域的1D CNN模型，用于设备端推理。
• 通过最少的个体特定数据，在边缘设备上实现实时、隐私保护的压力建模。

提出的方法

• 在20名参与者经历标准化应激刺激的受控数据集上预训练一个基础1D CNN模型。
• 通过可穿戴边缘设备收集生理信号（心率、HRV、皮肤电活动），并结合用户实时标注。
• 在真实世界环境中，利用小样本个性化数据集，在设备端进行迁移学习微调。
• 迁移学习过程将基础模型的特征适应为个体特定的模式，同时保持领域泛化能力。
• 系统实现持续个性化，无需传输原始数据，从而保护用户隐私。
• 采用跨领域评估策略，测试模型在未见个体和环境中的性能。

实验结果

研究问题

• RQ1 能否从受控实验室数据集进行迁移学习，以在仅使用最少个体特定数据的情况下，提升真实世界数据中的个人压力建模性能？
• RQ2 与从零开始训练相比，对1D CNN进行设备端微调如何影响个性化准确率？
• RQ3 该模型在高生理变异性个体之间具有多大程度的泛化能力？
• RQ4 在使用设备端迁移学习时，小样本真实世界数据对模型性能有何影响？
• RQ5 在边缘设备上实时标注能否在不损害隐私的前提下实现有效个性化？

主要发现

• 所提出的设备端迁移学习方法相比在小样本真实世界数据上从零开始训练，显著提升了个人压力分类的准确率。
• 仅使用10–20分钟的个体特定数据对预训练模型进行微调，使F1得分相比基线模型提高了15–20%。
• 该模型展现出强大的跨领域性能，能有效泛化到新个体和真实世界环境。
• 设备端训练通过避免数据传输保护了用户隐私，支持在资源受限的边缘设备上部署。
• 在边缘设备上集成实时标注，实现了高效且准确的个性化，同时最小化了用户的负担。
• 1D CNN架构能有效捕捉生理信号（HR、HRV、EDA）中的时间模式，适用于压力推断。