[论文解读] Distributed Optimization over Block-Cyclic Data

Yucheng Ding, Chaoyue Niu+6 more|arXiv (Cornell University)|Feb 18, 2020

Privacy-Preserving Technologies in Data参考文献 19被引用 8

一句话总结

该论文提出了MM-PSGD和MC-PSGD两种分布式优化算法，用于处理具有块循环、非独立同分布（non-i.i.d.）和不平衡数据的联邦学习。通过采用块混合与块分离策略训练特定于块的预测器，两种方法均实现了$O(1/\sqrt{NT})$的收敛速率，其中MC-PSGD进一步确保收敛至每个块的最优模型，相较于FedAvg在CIFAR-10上实现了高达6%的测试准确率提升。

ABSTRACT

We consider practical data characteristics underlying federated learning, where unbalanced and non-i.i.d. data from clients have a block-cyclic structure: each cycle contains several blocks, and each client's training data follow block-specific and non-i.i.d. distributions. Such a data structure would introduce client and block biases during the collaborative training: the single global model would be biased towards the client or block specific data. To overcome the biases, we propose two new distributed optimization algorithms called multi-model parallel SGD (MM-PSGD) and multi-chain parallel SGD (MC-PSGD) with a convergence rate of $O(1/\sqrt{NT})$, achieving a linear speedup with respect to the total number of clients. In particular, MM-PSGD adopts the block-mixed training strategy, while MC-PSGD further adds the block-separate training strategy. Both algorithms create a specific predictor for each block by averaging and comparing the historical global models generated in this block from different cycles. We extensively evaluate our algorithms over the CIFAR-10 dataset. Evaluation results demonstrate that our algorithms significantly outperform the conventional federated averaging algorithm in terms of test accuracy, and also preserve robustness for the variance of critical parameters.

研究动机与目标

• 解决由于数据分布不平衡、非独立同分布及块循环特性所引发的客户端和块偏差问题。
• 开发在实际联邦学习数据特征下仍保持收敛保证的分布式优化算法。
• 通过构建特定于块的预测器而非依赖单一全局模型，提升测试准确率与鲁棒性。
• 评估所提算法在不同客户端参与率、块数量及本地迭代次数设置下的性能表现。

提出的方法

• MM-PSGD采用块混合训练策略，每轮训练按顺序处理多个块的数据，并通过跨周期聚合同一块的历史全局模型来构建特定于块的预测器。
• MC-PSGD在MM-PSGD基础上扩展为块分离训练策略，仅使用每个块自身数据进行训练，为每个块维护独立的全局模型。
• 每轮训练中，MC-PSGD从块混合与块分离训练过程中选择性能更优的特定于块的预测器，以提升收敛速度。
• 两种算法均确保以$O(1/\sqrt{NT})$的速率收敛至最优全局模型，MC-PSGD对特定于块的模型实现$O(\sqrt{M}/\sqrt{NT})$的收敛速率。
• 两种方法均通过客户端间模型平均实现通信效率优化，且在服务器端聚合本地更新。
• 块循环数据结构被建模为多个周期，每个周期包含若干具有不同非独立同分布特性的数据块。

实验结果

研究问题

• RQ1 在块循环、非独立同分布的数据下，客户端和块偏差如何影响传统联邦平均算法的性能？
• RQ2 在数据不平衡、非独立同分布且具有块循环特性的联邦学习中，特定于块的预测器能否提升收敛速度与测试准确率？
• RQ3 结合块混合与块分离训练策略是否能比单一模型方法实现更快的收敛速度与更好的泛化能力？
• RQ4 本地迭代次数与块数量的变化如何影响所提算法的收敛速度与最终准确率？
• RQ5 在跨设备联邦学习场景中，所提算法对低客户端参与率的鲁棒性如何？

主要发现

• MM-PSGD与MC-PSGD在CIFAR-10上实现了65%的测试准确率，显著优于在块循环数据下波动于56%至59%且无法收敛的FedAvg。
• 使用打乱数据的FedAvg达到62%的测试准确率，较所提方法低3%，证实了特定于块建模的优势。
• 在20次本地迭代下，MC-PSGD在1,410轮内达到60%准确率，优于MM-PSGD在相同条件下需1,610轮才能达到的性能。
• 当块数$M$从2增加到10时，MM-PSGD的测试准确率从63%提升至67%，而MC-PSGD的性能稳定在64%至65%之间。
• 两种算法在低客户端参与率下均表现稳健：MC-PSGD在5%参与率下仍保持61%至62%的测试准确率，且随着参与率提升至20%，性能保持稳定。
• 早期轮次中呈现的阶梯状准确率增长表明，特定于块的预测器在前几个周期中得到显著提升，尤其对MM-PSGD更为明显。