[論文レビュー] FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization

Zhen Wang, Weirui Kuang+3 more|arXiv (Cornell University)|Jun 8, 2022

Recommender Systems and Techniques被引用数 6

ひとこと要約

本稿では、フェデレーテッドハイパーパラメータ最適化（HPO）のための包括的ベンチマークスイートであるFedHPO-Bを紹介する。フェデレーテッドラーニング（FL）におけるHPOの標準化された評価ツールの欠如に応えるもので、FederatedScopeプラットフォーム上に構築されており、多様なFLタスクをサポートし、テーブルおよびサーヴェイゲートモードによる効率的な関数評価を可能にするとともに、現実的なコスト推定を可能にする設定可能なシミュレーションを提供する。これにより、FedHPO手法の再現可能で拡張可能なベンチマーク評価が実現される。

ABSTRACT

Hyperparameter optimization (HPO) is crucial for machine learning algorithms to achieve satisfactory performance, whose progress has been boosted by related benchmarks. Nonetheless, existing efforts in benchmarking all focus on HPO for traditional centralized learning while ignoring federated learning (FL), a promising paradigm for collaboratively learning models from dispersed data. In this paper, we first identify some uniqueness of HPO for FL algorithms from various aspects. Due to this uniqueness, existing HPO benchmarks no longer satisfy the need to compare HPO methods in the FL setting. To facilitate the research of HPO in the FL setting, we propose and implement a benchmark suite FedHPO-B that incorporates comprehensive FL tasks, enables efficient function evaluations, and eases continuing extensions. We also conduct extensive experiments based on FedHPO-B to benchmark a few HPO methods. We open-source FedHPO-B at https://github.com/alibaba/FederatedScope/tree/master/benchmark/FedHPOB.

研究の動機と目的

• フェデレーテッドハイパーパラメータ最適化（FedHPO）のための標準化されたベンチマークの欠如に応え、FLにおける公平かつ再現可能な手法比較を可能にする。
• 中央集権的HPOとは異なる、増大した探索空間次元、忠実度制御、通信制約といったFedHPO固有の課題を特定する。
• 多様なFLタスクおよび設定において、FedHPO手法の包括的で効率的かつ拡張可能な評価を可能にするベンチマークスイートの設計。
• テーブル、サーヴェイゲート、およびシミュレート実行モードを通じて、正確および近似関数評価を可能にし、現実的な性能推定を実現する。
• オープンソースのFederatedScopeプラットフォームへの統合を通じて、コミュニティの採用と拡張を促進する。

提案手法

• FedHPO-Bは、FederatedScope FLプラットフォームの拡張として実装されており、既存のインfraを活用することで、シームレスな統合と拡張性を実現している。
• ベンチマークには、複数の分野をカバーする多様なFLタスクが含まれており、モデルアーキテクチャ（例：MLP、CNN、BERT）とデータ非同一性のレベルも多様である。
• 3つの評価モードをサポートする：テーブルモード（事前に計算された結果）、サーヴェイゲートモード（訓練済みモデルによる高速近似）、シミュレートモード（設定可能なシステムモデルと現実的な通信コスト追跡）。
• システムモデルにより、参加者の非同一性（異なるデータサイズ、モデル更新頻度、通信遅延など）を設定可能とし、現実世界のFL状況を模擬できる。
• 関数評価は、コンテナ化された環境による再現可能な実行を統合することで、異なるプラットフォーム間での一貫性を確保している。
• ベンチマークは https://github.com/alibaba/FederatedScope/tree/master/benchmark/FedHPOB にてオープンソース化されており、コミュニティの貢献と長期的メンテナンスを促進している。

実験結果

リサーチクエスチョン

• RQ1 データ分布の制約と通信オーバーヘッドという特有の制約を考慮した場合、従来のHPO手法はフェデレーテッドラーニングワークロードに対してどのように性能を発揮するか？
• RQ2 既存のHPOベンチマークが、タスク設定の不一致により、FedHPO手法の真の性能を十分に捉えていない可能性はどの程度か？
• RQ3 サーヴェイゲートモデルとテーブルモードは、正確なFedHPO評価を近似する際に、性能順序の忠実度を保持しつつどの程度有効か？
• RQ4 データ非同一性とシステム設定の変動が、FLにおけるHPO手法の収束性と耐障害性に与える影響は何か？
• RQ5 モジュラーかつ拡張可能なベンチマークフレームワークは、新しいFedHPOアルゴリズムの開発と評価を加速できるか？

主な発見

• FedHPO-Bは、FEMNIST、BERT、OpenMLベンチマークなど多様なFLタスクにおいて、異なるランタイム環境でも安定した結果を得られる一貫性のある再現可能なHPO手法の評価を可能にした。
• サーヴェイゲートモードでは、階層ベイジアンを用いたTPE（TPE-HB）と複数分布を用いたTPE（TPE-MD）が、FEMNIST CNNベンチマークで最小の最終検証損失（0.0458）を達成し、他の手法を上回った。
• BERT CoLAベンチマークでは、TPE-MDが最高のサーヴェイゲートモード結果（0.3687）を達成し、ランダムサーチ（0.5013）や他のベイジアン最適化変種を大きく上回った。
• 時間経過に伴う平均順位分析から、BOHBとDEHBは、FedAvgおよびFedOPT設定の両方において、LR、MLP、FEMNISTを含む複数のベンチマークで一貫して上位にランクされた。
• ベンチマークのシミュレートモードは、現実の通信コストを正確に反映しており、分散環境における実際のデプロイオーバーヘッドと実行時間の追跡が整合していた。
• オープンソース化されたFedHPO-Bフレームワークは、新しいタスクやHPO手法の拡張が成功裏に実施されており、コミュニティによる高い採用と拡張性が裏付けられた。