[论文解读] FLoRA: Single-shot Hyper-parameter Optimization for Federated Learning

Yi Zhou, Parikshit Ram+4 more|arXiv (Cornell University)|Dec 15, 2021

Privacy-Preserving Technologies in Data被引用 13

一句话总结

FLoRA 是一种用于联邦学习的单次超参数优化框架，通过元学习和损失曲面聚合技术，在一次联邦学习训练轮次内识别出最优超参数，显著提升了在多样化、非独立同分布（non-IID）数据分布下梯度提升决策树模型的模型准确率，同时通信开销极低。

ABSTRACT

We address the relatively unexplored problem of hyper-parameter optimization (HPO) for federated learning (FL-HPO). We introduce Federated Loss suRface Aggregation (FLoRA), the first FL-HPO solution framework that can address use cases of tabular data and gradient boosting training algorithms in addition to stochastic gradient descent/neural networks commonly addressed in the FL literature. The framework enables single-shot FL-HPO, by first identifying a good set of hyper-parameters that are used in a **single** FL training. Thus, it enables FL-HPO solutions with minimal additional communication overhead compared to FL training without HPO. Our empirical evaluation of FLoRA for Gradient Boosted Decision Trees on seven OpenML data sets demonstrates significant model accuracy improvements over the considered baseline, and robustness to increasing number of parties involved in FL-HPO training.

研究动机与目标

• 为解决联邦学习中除神经网络外缺乏有效的超参数优化（HPO）解决方案，特别是针对表格数据和梯度提升算法的问题。
• 设计一种仅需一次联邦学习训练轮次的单次HPO框架，最大限度减少通信和计算开销。
• 在非独立同分布（non-IID）数据分布下保持鲁棒性，且不依赖权重共享或模型个性化技术。
• 支持非SGD基础模型（如XGBoost）的HPO，这类模型在企业环境中广泛应用。
• 实现可扩展、通信高效的HPO，无需多轮联邦学习训练或大量模型重训练。

提出的方法

• FLoRA 采用元学习方法，每个客户端独立使用自身数据执行本地HPO，生成（超参数，损失）对。
• 通过各种聚合策略（如SGM、MPLM、APLM）聚合所有客户端的本地损失曲面，构建全局损失曲面。
• 聚合器使用Hyperopt从聚合后的损失曲面中选择最优超参数配置。
• 该框架避免了权重共享，适用于非神经网络模型，包括梯度提升决策树。
• 通过仅训练一个采用选定超参数的模型，实现单次优化，将通信成本降至接近基线联邦学习水平。
• 评估了不同的损失曲面聚合策略（如SGM、MPLM），以评估其在数据异构性下的鲁棒性。

实验结果

研究问题

• RQ1 单次HPO框架是否能在不进行多轮训练的情况下实现显著的性能提升？
• RQ2 FLoRA在客户端间数据异构性增加和非独立同分布数据分布下表现如何？
• RQ3 FLoRA能否有效优化梯度提升决策树的超参数，而这类模型并非基于随机梯度下降？
• RQ4 不同的损失曲面聚合策略（如SGM、MPLM）如何影响最终模型的鲁棒性和准确率？
• RQ5 当参与方数量增加时，特别是在高度数据不平衡的情况下，FLoRA是否仍能保持性能优势？

主要发现

• FLoRA 显著提升了默认scikit-learn XGBoost配置的平衡准确率，在EEG眼状态数据集上达到0.9251（基线为0.8864）。
• 在Oil Spill数据集上，FLoRA采用SGM聚合策略实现了0.7374的平衡准确率，较基线0.5895提升了25.1%。
• 在Pollen数据集上，10个参与方的情况下，由于数据异构性较高，相对遗憾值在某些情况下超过1.0，但MPLM表现出最平缓的性能下降。
• 在Electricity数据集上，即使在10个参与方的情况下，FLoRA仍保持低相对遗憾值（APLM策略下为0.0890），表明对参与方数量和中等程度数据不平衡具有鲁棒性。
• SGM+U和APLM聚合策略在所有数据集上均持续优于SGM和MPLM，表明损失曲面估计更优。
• FLoRA在全部七个OpenML数据集上均表现出色，证明其在多样化表格数据分布和模型配置下的有效性。