[论文解读] Hybrid Federated Learning: Algorithms and Implementation

Xinwei Zhang, Wotao Yin+2 more|arXiv (Cornell University)|Dec 22, 2020

Privacy-Preserving Technologies in Data参考文献 16被引用 9

一句话总结

该论文提出了首个针对混合联邦学习（HFL）的正式模型与算法，其中客户端仅拥有部分数据样本和部分特征。提出了HyFEM-Avg与HyFEM-Prox算法，通过交替优化并引入近端正则化，联合训练全局与本地模型，在高数据异构性和缺失数据情况下仍表现出色，由于过拟合减少，其性能在某些情况下甚至优于集中式基线方法。

ABSTRACT

Federated learning (FL) is a recently proposed distributed machine learning paradigm dealing with distributed and private data sets. Based on the data partition pattern, FL is often categorized into horizontal, vertical, and hybrid settings. Despite the fact that many works have been developed for the first two approaches, the hybrid FL setting (which deals with partially overlapped feature space and sample space) remains less explored, though this setting is extremely important in practice. In this paper, we first set up a new model-matching-based problem formulation for hybrid FL, then propose an efficient algorithm that can collaboratively train the global and local models to deal with full and partial featured data. We conduct numerical experiments on the multi-view ModelNet40 data set to validate the performance of the proposed algorithm. To the best of our knowledge, this is the first formulation and algorithm developed for the hybrid FL.

研究动机与目标

• 为解决混合联邦学习缺乏正式框架的问题，即客户端拥有重叠但不完整的数据样本与特征。
• 设计一种保持数据本地性的算法，避免服务器访问原始数据，包括标签。
• 在无需样本或特征同步的情况下，实现在客户端之间的有效知识迁移。
• 开发一种收敛的优化方法，在数据异构性与部分特征可用性条件下，联合训练全局与本地模型。

提出的方法

• 提出基于模型匹配的优化公式用于混合联邦学习，每个客户端在其部分数据与特征上训练本地模型。
• 引入HyFEM-Avg，一种交替最小化算法，通过平均方式更新本地模型并聚合全局模型参数。
• 开发HyFEM-Prox，其在全局模型更新中增加近端项，提升收敛性并平衡全局与本地性能。
• 采用两阶段训练流程：客户端先在其局部数据上优化本地模型，随后服务器聚合并更新全局模型。
• 在HyFEM-Prox中引入近端正则化项以稳定训练并提升泛化能力。
• 在ModelNet40实验中，采用ResNet-34进行特征提取，使用单层MLP进行本地推理。

实验结果

研究问题

• RQ1 如何设计一个联邦学习框架，以处理客户端同时拥有部分数据样本与部分特征的情况，而无需完整数据或特征的可用性？
• RQ2 何种优化算法可在混合联邦学习设置中实现客户端间有效知识迁移，同时保护数据隐私并最小化通信开销？
• RQ3 在不同水平的数据异构性与缺失特征条件下，全局与本地模型性能之间的平衡如何变化？
• RQ4 在存在数据缺失与部分特征可用的情况下，混合联邦学习算法能否实现与集中式训练相当的性能？
• RQ5 近端正则化参数对全局与本地模型准确率之间权衡的影响是什么？

主要发现

• 在4客户端、4视角的实验中，HyFEM-Avg与HyFEM-Prox的测试准确率高于集中式训练，可能由于数据异构性导致的过拟合减少。
• 在8客户端、12视角的实验中，数据稀疏性与高度异构性下，HyFEM模型仍保持合理性能，尽管低于集中式基线。
• 近端参数μ表现出明确的权衡效应：μ较低（0.1）时提升本地准确率但降低全局准确率，μ较高（0.5）时则提升全局准确率但损害本地性能。
• HyFEM-Avg相比HyFEM-Prox需要更少内存，梯度估计更简单，因此在资源受限客户端中更具通信效率与实用性。
• 所提出的HyFEM算法成功保持了数据本地性，且服务器未访问任何客户端数据，包括标签。
• 模型匹配公式实现了全局与本地模型的联合训练，有效应对了无客户端拥有完整数据的混合联邦学习场景。