[论文解读] LoAdaBoost:Loss-Based AdaBoost Federated Machine Learning on medical Data

Huang Li, Yifeng Yin+4 more|arXiv (Cornell University)|Nov 30, 2018

Privacy-Preserving Technologies in Data参考文献 21被引用 64

一句话总结

LoAdaBoost 是一种用于医疗数据联邦机器学习的基于损失的自适应提升框架，通过根据训练损失动态调整弱学习器的权重，旨在在非独立同分布（non-IID）数据分布下提升模型准确性。与基线方法相比，LoAdaBoost 在多个医院的 ICU 数据上实现了更高的预测准确性，同时计算复杂度更低。

ABSTRACT

Intensive care data are valuable for improvement of health care, policy making and many other purposes. Vast amount of such data are stored in different locations, on many different devices and in different data silos. Sharing data among different sources is a big challenge due to regulatory, operational and security reasons. One potential solution is federated machine learning, which is a method that sends machine learning algorithms simultaneously to all data sources, trains models in each source and aggregates the learned models. This strategy allows utilization of valuable data without moving them. One challenge in applying federated machine learning is the possibly different distributions of data from diverse sources. To tackle this problem, we proposed an adaptive boosting method named LoAdaBoost that increases the efficiency of federated machine learning. Using intensive care unit data from hospitals, we investigated the performance of learning in IID and non-IID data distribution scenarios, and showed that the proposed LoAdaBoost method achieved higher predictive accuracy with lower computational complexity than the baseline method.

研究动机与目标

• 解决联邦机器学习在医疗应用中非独立同分布数据分布的挑战。
• 在不集中敏感患者数据的前提下，提升联邦学习中的预测准确性。
• 与联邦设置下的标准 AdaBoost 相比，降低计算复杂度。
• 实现对去中心化、异构医疗数据源（如 ICU 系统）的有效模型训练。

提出的方法

• 提出 LoAdaBoost，一种专为联邦学习环境设计的基于损失的自适应提升方法。
• 利用样本级别的训练损失，在每次提升轮次中动态调整弱学习器的权重。
• 通过联邦训练在本地客户端之间执行模型聚合，同时保护数据隐私。
• 将自适应提升原理与联邦平均相结合，以提升收敛速度与准确性。
• 在提升过程中优先处理损失较高的样本，以改善对困难样本的整体模型性能。
• 通过聚焦于损失敏感的更新，保持较低的通信与计算开销。

实验结果

研究问题

• RQ1 与标准 AdaBoost 相比，LoAdaBoost 在非独立同分布数据分布下的联邦学习中表现如何？
• RQ2 基于损失的加权机制是否能提升去中心化医疗数据环境中的模型准确性？
• RQ3 与基线联邦学习方法相比，LoAdaBoost 的计算效率如何？
• RQ4 LoAdaBoost 如何处理来自多个医院 ICU 数据集的数据异质性？
• RQ5 LoAdaBoost 中的自适应提升机制是否能带来更快的收敛速度与更好的泛化能力？

主要发现

• LoAdaBoost 在独立同分布（IID）与非独立同分布（non-IID）数据分布场景下，均实现了比基线方法更高的预测准确性。
• 该方法相比基线方法表现出更低的计算复杂度，使其在资源受限环境中更具效率。
• 在性能增益方面，非独立同分布设置下的表现尤为突出，其中医院间的数据分布偏移构成了显著挑战。
• 基于损失的加权机制有效聚焦于难以分类的样本，提升了整体模型的鲁棒性。
• 在去中心化医院之间进行模型聚合，无需数据共享即可保持高性能，有效保护了隐私。
• 该方法在来自多个医院的真实 ICU 数据中表现有效，验证了其在医疗联邦学习中的实际应用价值。