[论文解读] Learn Electronic Health Records by Fully Decentralized Federated Learning

Songtao Lu, Yawen Zhang+2 more|arXiv (Cornell University)|Dec 4, 2019

Privacy-Preserving Technologies in Data参考文献 21被引用 20

一句话总结

本文提出了一种完全去中心化的联邦学习框架，采用去中心化随机梯度追踪（DSGT），在保护数据隐私的同时，对分布式电子健康记录（EHRs）进行机器学习模型训练，并提升通信效率。通过在医院之间实现本地更新和对等通信，该方法实现了线性加速，并且在通信轮次上显著少于集中式或星型网络方法，收敛至最优解。

ABSTRACT

Federated learning opens a number of research opportunities due to its high communication efficiency in distributed training problems within a star network. In this paper, we focus on improving the communication efficiency for fully decentralized federated learning over a graph, where the algorithm performs local updates for several iterations and then enables communications among the nodes. In such a way, the communication rounds of exchanging the common interest of parameters can be saved significantly without loss of optimality of the solutions. Multiple numerical simulations based on large, real-world electronic health record databases showcase the superiority of the decentralized federated learning compared with classic methods.

研究动机与目标

• 解决在不损害患者隐私的前提下，对去中心化、非独立同分布的电子健康记录（EHRs）进行高质量机器学习模型训练的挑战。
• 通过消除对中央参数服务器的需求，提升联邦学习中的通信效率，尤其在受HIPAA等法规限制、数据共享受限的真实医疗环境中。
• 开发一种去中心化优化框架，实现在医院之间达成共识收敛，同时处理真实EHR数据集中固有的数据异构性。
• 从理论和实证两方面证明，基于DSGT的去中心化联邦学习相较于经典联邦学习方法，可实现线性加速，并在更少的通信轮次内实现更快收敛。

提出的方法

• 该方法采用由20家医院（节点）构成的完全去中心化网络，每家医院维护自身的EHR数据，并仅通过图结构拓扑与邻近节点通信。
• 将本地随机梯度更新与去中心化梯度追踪（DSGT）相结合，后者通过维护全局梯度的估计值，以减少由数据异构性带来的误差。
• 算法在每轮通信中执行Q次本地更新，从而减少达到收敛所需的通信轮次。
• 核心更新规则采用步长α^r ~ O(√(N/r))，并利用双随机权重矩阵W，以确保节点间达成共识。
• 该方法在理论上具有收敛性分析支持，显示在T较大时，最优性间隙为O(σ²/(N√T))，表明其相对于节点数量实现了线性加速。
• 数值实验将基于DSGT的联邦学习（FD-DSGT）与DSGD、DSGT及联邦DSGD进行比较，使用在真实阿尔茨海默病与轻度认知障碍EHR数据集上的42维特征浅层神经网络。

实验结果

研究问题

• RQ1 完全去中心化的联邦学习框架是否能在真实EHR系统中实现与集中式训练相当的模型性能，同时保护数据隐私？
• RQ2 将本地更新与去中心化梯度追踪（DSGT）结合，如何提升在非独立同分布、异构EHR数据中的通信效率与收敛速度？
• RQ3 在非独立同分布数据的去中心化设置下，基于DSGT的联邦学习的理论收敛行为如何？是否实现了相对于节点数量的线性加速？
• RQ4 与经典联邦学习及去中心化优化基线方法相比，所提方法在通信轮次和最优性间隙方面表现如何？

主要发现

• 所提出的基于DSGT的完全去中心化联邦学习实现了O(σ²/(N√T))的收敛速率，证明了其相对于节点数量的线性加速，这是首个在非凸设置下针对DSGT的此类理论结果。
• 数值结果表明，FD-DSGT在通信轮次方面显著快于经典的DSGD和DSGT，且达到了更小的最优性间隙。
• 与标准联邦学习相比，该方法显著减少了通信轮次，如图2所示，FD-DSGT在更少的通信交换次数下达到了更低的最优性间隙。
• 图1中的t-SNE可视化结果确认了各医院间的数据异构性，验证了采用能够处理非独立同分布数据分布的去中心化方法的必要性。
• 该算法保持了节点间的一致性，平均迭代误差‖θ_i^r - θ̄^r‖²随时间推移而减小，表明无需中央融合中心即可实现有效的信息共享。