[论文解读] GAL: Gradient Assisted Learning for Decentralized Multi-Organization Collaborations

Enmao Diao, Jie Ding+1 more|arXiv (Cornell University)|Jun 2, 2021

Mobile Crowdsensing and Crowdsourcing参考文献 34被引用 6

一句话总结

本文提出梯度辅助学习（GAL），一种去中心化的多机构学习框架，使机构能够在不共享本地数据、模型或目标函数的情况下协作优化共享模型。通过交换并拟合伪残差以近似全局梯度方向，GAL 仅需极少通信轮次（通常少于十轮）即可实现接近集中式学习的性能，适用于医疗、金融和零售等大规模、隐私敏感的协作场景。

ABSTRACT

Collaborations among multiple organizations, such as financial institutions, medical centers, and retail markets in decentralized settings are crucial to providing improved service and performance. However, the underlying organizations may have little interest in sharing their local data, models, and objective functions. These requirements have created new challenges for multi-organization collaboration. In this work, we propose Gradient Assisted Learning (GAL), a new method for multiple organizations to assist each other in supervised learning tasks without sharing local data, models, and objective functions. In this framework, all participants collaboratively optimize the aggregate of local loss functions, and each participant autonomously builds its own model by iteratively fitting the gradients of the overarching objective function. We also provide asymptotic convergence analysis and practical case studies of GAL. Experimental studies demonstrate that GAL can achieve performance close to centralized learning when all data, models, and objective functions are fully disclosed.

研究动机与目标

• 解决去中心化多机构协作中的挑战，即机构因隐私和监管约束而不愿共享本地数据、模型或目标函数。
• 在每个机构持有相同样本不同且非重叠特征的垂直分布数据设置下，实现有效学习。
• 通过最小化同步并避免完整模型或数据共享，降低通信和计算开销。
• 开发一种可扩展、自主的学习框架，适用于计算资源丰富的大型机构。
• 在保护各机构数据和模型隐私的同时，实现接近集中式学习的性能。

提出的方法

• 各机构以去中心化方式交换伪残差——对全局梯度方向的近似，可降低训练损失。
• 各机构利用其本地数据、模型和目标函数拟合这些伪残差，生成对全局梯度的预测。
• 目标机构（Alice）通过分配自适应权重聚合这些预测，以估计最优的全局梯度方向。
• Alice 沿估计的梯度方向执行线搜索，以确定模型更新的最优学习率。
• 该过程迭代进行直至收敛，仅需极少通信——通常少于十轮即可达到集中式学习性能。
• 推理阶段，各机构将本地预测发送给 Alice，由其组合生成最终模型输出。

实验结果

研究问题

• RQ1 去中心化学习框架是否能在不共享本地数据、模型或目标函数的前提下，实现与集中式学习相当的性能？
• RQ2 GAL 在处理具有异构数据模态的多个机构之间的垂直分布数据时，效果如何？
• RQ3 噪声或无信息量的机构对 GAL 的收敛性和性能有何影响？
• RQ4 与联邦学习和梯度提升等现有方法相比，GAL 在通信效率和模型准确率方面表现如何？
• RQ5 在真实世界基准数据集中，GAL 达到近似最优性能所需的最少协助轮次数是多少？

主要发现

• 在 Diabetes、BostonHousing 和 MNIST 等基准数据集上，GAL 即使不共享数据或模型，性能也仅比集中式学习低 2-5%。
• 消融实验表明，当一半机构提供噪声输出（σ=1）时，GAL 仍保持高准确率（如 Blob 数据集上达 97.5%），表现出对噪声的鲁棒性。
• 当一半机构无预测能力（特征来自 N(0,1)）时，GAL 在 BreastCancer 数据集上仍实现 97.6% 准确率，在 BreastCancer 上达 98.2%（M=4），展现出对无信息合作方的强韧性。
• 该方法平均在十轮以内收敛，与同步联邦学习相比，显著降低了通信和协调成本。
• 在最优加权协助下，GAL 在 MNIST 上实现 96.8% 准确率，在 CIFAR10 上达 71.4%，接近最优性能。
• 该框架将经典梯度提升推广至去中心化、垂直划分的数据设置，扩展了其在隐私保护型多机构学习中的适用性。