[论文解读] Differential Private Federated Transfer Learning for Mental Health Monitoring in Everyday Settings: A Case Study on Stress Detection

Ziyu Wang, Zhongqi Yang+2 more|arXiv (Cornell University)|Feb 16, 2024

Digital Mental Health Interventions被引用 6

一句话总结

本文提出一个差分隐私联邦迁移学习框架用于心理健康监测中的压力检测，结合在公开数据上的预训练与设备端在DP下的联邦微调，以提升隐私性和性能。

ABSTRACT

Mental health conditions, prevalent across various demographics, necessitate efficient monitoring to mitigate their adverse impacts on life quality. The surge in data-driven methodologies for mental health monitoring has underscored the importance of privacy-preserving techniques in handling sensitive health data. Despite strides in federated learning for mental health monitoring, existing approaches struggle with vulnerabilities to certain cyber-attacks and data insufficiency in real-world applications. In this paper, we introduce a differential private federated transfer learning framework for mental health monitoring to enhance data privacy and enrich data sufficiency. To accomplish this, we integrate federated learning with two pivotal elements: (1) differential privacy, achieved by introducing noise into the updates, and (2) transfer learning, employing a pre-trained universal model to adeptly address issues of data imbalance and insufficiency. We evaluate the framework by a case study on stress detection, employing a dataset of physiological and contextual data from a longitudinal study. Our finding show that the proposed approach can attain a 10% boost in accuracy and a 21% enhancement in recall, while ensuring privacy protection.

研究动机与目标

• 在利用有限且多样化数据的同时，解决心理健康监测中的隐私问题。
• 将差分隐私与联邦学习结合，以在模型更新过程中保护参与者数据。
• 通过在大型公开数据集上进行预训练并在用户数据上微调来缓解数据稀缺与不平衡。
• 在使用生理数据和情境数据的压力检测案例研究中评估该框架。
• 展示隐私-效用权衡以及对隐私预算变化的鲁棒性。

提出的方法

• 在大型公开数据集上使用二元交叉熵损失预训练一个通用模型。
• 将预训练模型分发给客户端，并在用户特定数据上进行微调，应用梯度裁剪。
• 在梯度中加入拉普拉斯噪声，尺度为 Delta f / epsilon，以在客户端更新时实现差分隐私。
• 通过联邦平均对带噪声的客户端更新进行聚合，以形成全局模型。
• 模型使用一个三层多层感知机，具有来自PPG和运动数据的12个心率/心率变异性特征。
• 通过改变隐私预算epsilon来评估隐私-效用权衡。

Figure 1: Overview of the proposed framework.

实验结果

研究问题

• RQ1 将差分隐私与联邦学习结合，是否能够在不过度损害性能的情况下保护敏感的心理健康数据？
• RQ2 通过预训练的通用模型进行迁移学习是否在数据稀缺的个性化压力检测任务中提升性能？
• RQ3 在此设置中，隐私预算（epsilon）对模型准确性、召回率和ROC的影响是什么？
• RQ4 所提出的框架在压力检测方面与非联邦或非DP的基线相比如何？

主要发现

模型	准确率	F1分数	召回率	精确度
Plain	0.43	0.39	0.54	0.31
Pre-trained	0.51	0.44	0.58	0.36
Fine-tuned	0.53	0.52	0.75	0.40

• 整合框架在基线方法之上实现更高的准确性和召回率：微调模型的准确度0.53，F1 0.52，召回0.75，精确度0.40。
• 普通模型准确度0.43，F1 0.39，召回0.54，精确度0.31；预训练模型准确度0.51，F1 0.44，召回0.58，精确度0.36。
• 通过epsilon=1的拉普拉斯噪声实现的差分隐私在保持ROC的同时提供隐私保护。
• 召回率的提升表明对压力样本的检测更好，减少漏检。
• 隐私-效用分析表明在所述场景中DP-FL对ROC影响不显著。

Figure 2: Overview of the proposed approach.