[论文解读] FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization

Zhen Wang, Weirui Kuang+3 more|arXiv (Cornell University)|Jun 8, 2022

Recommender Systems and Techniques被引用 6

一句话总结

该论文提出了 FedHPO-B，一个用于联邦超参数优化（HPO）的综合性基准测试套件，解决了联邦学习（FL）中HPO缺乏标准化评估工具的问题。FedHPO-B基于 FederatedScope 平台构建，支持多种联邦学习任务，通过表格模式和代理模式实现高效的函数评估，并提供可配置的仿真功能以实现真实的成本估算，从而支持 FedHPO 方法的可复现与可扩展的基准测试。

ABSTRACT

Hyperparameter optimization (HPO) is crucial for machine learning algorithms to achieve satisfactory performance, whose progress has been boosted by related benchmarks. Nonetheless, existing efforts in benchmarking all focus on HPO for traditional centralized learning while ignoring federated learning (FL), a promising paradigm for collaboratively learning models from dispersed data. In this paper, we first identify some uniqueness of HPO for FL algorithms from various aspects. Due to this uniqueness, existing HPO benchmarks no longer satisfy the need to compare HPO methods in the FL setting. To facilitate the research of HPO in the FL setting, we propose and implement a benchmark suite FedHPO-B that incorporates comprehensive FL tasks, enables efficient function evaluations, and eases continuing extensions. We also conduct extensive experiments based on FedHPO-B to benchmark a few HPO methods. We open-source FedHPO-B at https://github.com/alibaba/FederatedScope/tree/master/benchmark/FedHPOB.

研究动机与目标

• 为解决联邦超参数优化（FedHPO）缺乏标准化基准的问题，该问题对于在联邦学习中实现公平且可复现的方法比较至关重要。
• 识别 FedHPO 中的独特挑战，例如搜索空间维度增加、保真度控制以及通信约束，从而将其与集中式 HPO 区分开来。
• 设计一个基准测试套件，以支持在多样化联邦学习任务和配置下对 FedHPO 方法进行全面、高效且可扩展的评估。
• 通过表格模式、代理模式和仿真执行模式，实现精确与近似函数评估，以实现对性能的真实估计。
• 通过与开源 FederatedScope 平台集成，促进社区采纳与扩展。

提出的方法

• FedHPO-B 作为 FederatedScope 联邦学习平台的扩展实现，利用其现有基础设施，实现无缝集成与可扩展性。
• 该基准测试包含涵盖多个领域、模型架构（如 MLP、CNN、BERT）以及不同数据异构性水平的多样化联邦学习任务。
• 支持三种评估模式：表格模式（预计算结果）、代理模式（通过训练模型快速近似）和仿真模式（可配置的系统模型，支持真实通信成本追踪）。
• 系统模型支持可配置的参与者异构性，包括不同的数据规模、模型更新频率和通信延迟，以模拟真实世界中的联邦学习环境。
• 函数评估通过容器化环境封装，确保在不同平台上的一致性与可复现性执行。
• 该基准测试已在 https://github.com/alibaba/FederatedScope/tree/master/benchmark/FedHPOB 开源，以鼓励社区贡献与长期维护。

实验结果

研究问题

• RQ1 在数据分布特性和通信开销等独特约束下，传统 HPO 方法在联邦学习工作负载中的表现如何？
• RQ2 现有 HPO 基准测试在多大程度上因任务设置不匹配而未能真实反映 FedHPO 方法的性能？
• RQ3 代理模型和表格模式在近似精确 FedHPO 评估时，其性能排名保真度如何，效果如何？
• RQ4 数据异构性和系统配置的变化对联邦学习中 HPO 方法收敛性和鲁棒性有何影响？
• RQ5 模块化且可扩展的基准测试框架是否能加速新型 FedHPO 算法的开发与评估？

主要发现

• FedHPO-B 在多种联邦学习任务（包括 FEMNIST、BERT 和 OpenML 基准）中实现了 HPO 方法的一致且可复现的评估，结果在不同运行时环境中保持稳定。
• 在代理模式下，采用分层贝叶斯策略的 TPE（TPE-HB）和多分布策略的 TPE（TPE-MD）在 FEMNIST CNN 基准上实现了最低的最终验证损失（0.0458），优于其他方法。
• 在 BERT CoLA 基准上，TPE-MD 在代理模式下取得最佳结果（0.3687），显著优于随机搜索（0.5013）和其他贝叶斯优化变体。
• 随时间变化的平均排名分析表明，BOHB 和 DEHB 在 FedAvg 和 FedOPT 设置下，于 LR、MLP 和 FEMNIST 等多个基准中始终位列前茅。
• 该基准测试的仿真模式准确反映了真实世界的通信成本，执行时间跟踪与分布式环境中的实际部署开销一致。
• 开源的 FedHPO-B 框架已成功扩展至新任务和 HPO 方法，展示了强大的社区采纳度与可扩展性。