[论文解读] FedHealth: A Federated Transfer Learning Framework for Wearable Healthcare

Yiqiang Chen, Jindong Wang+3 more|arXiv (Cornell University)|Jul 22, 2019

Privacy-Preserving Technologies in Data参考文献 40被引用 45

一句话总结

FedHealth 将联邦学习与迁移学习相结合，在不分享原始数据的情况下训练个性化的可穿戴健康模型，在基于智能手机的活动识别中实现更高的准确性（约提高 5.3%）。

ABSTRACT

With the rapid development of computing technology, wearable devices such as smart phones and wristbands make it easy to get access to people's health information including activities, sleep, sports, etc. Smart healthcare achieves great success by training machine learning models on a large quantity of user data. However, there are two critical challenges. Firstly, user data often exists in the form of isolated islands, making it difficult to perform aggregation without compromising privacy security. Secondly, the models trained on the cloud fail on personalization. In this paper, we propose FedHealth, the first federated transfer learning framework for wearable healthcare to tackle these challenges. FedHealth performs data aggregation through federated learning, and then builds personalized models by transfer learning. It is able to achieve accurate and personalized healthcare without compromising privacy and security. Experiments demonstrate that FedHealth produces higher accuracy (5.3% improvement) for wearable activity recognition when compared to traditional methods. FedHealth is general and extensible and has the potential to be used in many healthcare applications.

研究动机与目标

• 通过在不同组织之间实现隐私保护的模型训练来解决可穿戴医疗中的数据孤岛问题。
• 通过迁移学习为每个个体用户提供个性化模型学习。
• 利用联邦学习在不暴露数据的情况下汇聚知识。
• 展示在智能手机活动识别中的有效性，并展示向其他医疗任务的扩展性。

提出的方法

• 使用公开/服务器数据通过标准深度学习目标训练云端（服务器）模型 f_S。
• 通过同态加密将 f_S 分发给用户，并让用户在其数据上训练本地模型 f_u。
• 聚合加密后的用户模型以在不暴露原始数据的情况下更新服务器模型 f_S'。
• 通过冻结底层层并调整高层实现对每个用户的个性化迁移学习，并使用对齐（CORAL）损失以减少域间差异。
• 在个性化过程中使用 CORAL 损失对齐源（服务器）和目标（用户）权重之间的二阶统计量。
• 概述在新用户数据到来时进行迭代、持续更新以逐步改进个性化。

Figure 1: The data islanding and personalization problems in wearable healthcare

实验结果

研究问题

• RQ1 如何将联邦学习与迁移学习结合，以在可穿戴医疗中解决数据孤岛问题并同时维护隐私？
• RQ2 是否可以利用并改进一个云端模型，以在不共享原始数据的情况下为个体用户提供个性化模型？
• RQ3 将联邦迁移学习应用于基于智能手机的活动识别时，相较于传统方法，对识别准确率的影响有多大？

主要发现

受试者	KNN	SVM	RF	无Fed	FedHealth
P1	83.8	81.9	87.5	94.5	98.8
P2	86.5	96.9	93.3	94.5	98.8
P3	92.2	97.2	88.9	93.4	100.0
P4	83.1	95.9	91.0	95.5	99.4
P5	90.5	98.6	91.6	92.6	100.0

• FedHealth 在智能手机活动识别实验中对所有被试均取得最高准确率。
• 相比 NoFed 设置（仅服务器模型），FedHealth 将平均准确率提高约5.3%。
• FedHealth 在所有被试上均优于传统方法（KNN、SVM、RF）。
• 在 FedHealth 中的迁移学习相比非迁移基线平均提升约4个百分点。
• 该框架支持使用替代迁移学习策略（微调、MMD）进行扩展，并保持有效。
• 联邦学习结合加密参数共享在保持隐私的同时实现知识聚合。

Figure 2: Overview of the FedHealth framework. “User” represents organizations