[论文解读] Federated Learning Meets Multi-objective Optimization
本文将联邦学习形式化为多目标优化，并引入 FedMGDA+，一种收敛于帕累托平稳解、在分布式边缘学习中实现准确性、公平性与鲁棒性平衡的算法。
Federated learning has emerged as a promising, massively distributed way to train a joint deep model over large amounts of edge devices while keeping private user data strictly on device. In this work, motivated from ensuring fairness among users and robustness against malicious adversaries, we formulate federated learning as multi-objective optimization and propose a new algorithm FedMGDA+ that is guaranteed to converge to Pareto stationary solutions. FedMGDA+ is simple to implement, has fewer hyperparameters to tune, and refrains from sacrificing the performance of any participating user. We establish the convergence properties of FedMGDA+ and point out its connections to existing approaches. Extensive experiments on a variety of datasets confirm that FedMGDA+ compares favorably against state-of-the-art.
研究动机与目标
- 在具有异质用户数据和有限通信条件的情形下，激发联邦学习中的公平性与鲁棒性挑战。
- 引入一个将每个用户的损失视为一个目标的多目标优化视角来研究FL。
- 开发一种算法（FedMGDA+），保证收敛到帕累托平稳解。
- 在温和假设下提供理论收敛性保证。
- 在多样化数据集和设置中展示 FedMGDA+ 的实证有效性和鲁棒性。
提出的方法
- 将每个用户的损失 f_i 建模为多目标最小化问题 MOP 的一个目标。
- 将多梯度下降算法（MGDA）扩展到 FL，以找到一个对梯度的凸组合的下降方向。
- 通过在梯度凸包上解一个简单的二次规划来计算最优对偶权重 lambda_t（最小二范数方向）。
- 对梯度进行归一化，以增强对对抗性操纵的鲁棒性并稳定更新。
- 在每轮中允许多次本地更新以平衡通信与计算，且对客户端进行子采样以减轻非IID效应。
- 在 Lipschitz 光滑性和温和条件下证明收敛到帕累托平稳解（定理 1a、1b、2）。
实验结果
研究问题
- RQ1能否将参与客户端的联邦学习有效地框架为一个多目标优化问题？
- RQ2基于 MGDA 的更新（FedMGDA+）是否能够提供一个共同的下降方向，在不牺牲任何客户端的前提下改善所有客户端的目标？
- RQ3在非独立同分布数据和部分参与的情况下，能够为 FedMGDA+ 建立哪些收敛保证？
- RQ4在 FedMGDA+ 下，与现有 FL 方法相比，公平性、鲁棒性与准确性之间的权衡表现如何？
- RQ5在真实数据集上的实验结果是否支持 FedMGDA+ 在 FL 场景中的理论优势？
主要发现
- FedMGDA+ 在温和假设下收敛到帕累托平稳解（定理 1a 和 1b）。
- 该方法通过对偶优化自动调节客户端权重，在不牺牲任何参与客户端的前提下实现平均性能和公平性的平衡。
- 梯度归一化提升对恶意客户端的鲁棒性并有助于稳定收敛。
- 子采样和本地更新方案与 FedMGDA+ 兼容，保持下降方向并实现可扩展的 FL。
- 实证结果表明 FedMGDA+ 在准确性、公平性和鲁棒性等指标上与最先进方法具有竞争力（如实验总结所示）。
- 本文揭示了 FedMGDA+ 与现有 FL 算法之间的联系，并对 FL 的 MoM 视角提供了理论见解。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。