[論文レビュー] FLoRA: Single-shot Hyper-parameter Optimization for Federated Learning

Yi Zhou, Parikshit Ram+4 more|arXiv (Cornell University)|Dec 15, 2021

Privacy-Preserving Technologies in Data被引用数 13

ひとこと要約

FLoRA は、メタラーニングと損失関数の表面集約を活用して、1回の FL 学習ラウンドで最適なハイパーパrameterを特定する、フェデレーテッドラーニングのシングルショットハイパーパramータ最適化フレームワークであり、通信コストを最小限に抑えつつ、非独立同分布（non-IID）の多様なデータ分布において勾配ブースティング決定木のモデル精度を顕著に向上させる。

ABSTRACT

We address the relatively unexplored problem of hyper-parameter optimization (HPO) for federated learning (FL-HPO). We introduce Federated Loss suRface Aggregation (FLoRA), the first FL-HPO solution framework that can address use cases of tabular data and gradient boosting training algorithms in addition to stochastic gradient descent/neural networks commonly addressed in the FL literature. The framework enables single-shot FL-HPO, by first identifying a good set of hyper-parameters that are used in a **single** FL training. Thus, it enables FL-HPO solutions with minimal additional communication overhead compared to FL training without HPO. Our empirical evaluation of FLoRA for Gradient Boosted Decision Trees on seven OpenML data sets demonstrates significant model accuracy improvements over the considered baseline, and robustness to increasing number of parties involved in FL-HPO training.

研究の動機と目的

• ニューラルネットワークを超えるフェデレーテッドラーニングにおける有効なハイパーパラメータ最適化（HPO）ソリューションの欠如、特に表形式データおよび勾配ブースティングアルゴリズムに対する課題を解決すること。
• 複数のトレーニングラウンドを必要とせず、1回の FL トレーニングラウンドで完結するシングルショット HPO フレームワークを設計すること。
• 重み共有やモデルパーソナライゼーション技術に依存せずに、非 IID データ分布においても堅牢性を確保すること。
• XGBoost などの SGD に基づかないモデルに対する HPO をサポートすること。
• 複数ラウンドの FL トレーニングや広範なモデル再トレーニングを必要としない、スケーラブルで通信効率の良い HPO を実現すること。

提案手法

• FLoRA は、各クライアントが自らのデータを用いてローカルに HPO を実行し、(ハイパーパラメータ, 損失) セットを生成するメタラーニングアプローチを採用する。
• さまざまな集約戦略（例：SGM、MPLM、APLM）を用いて、すべてのクライアントからのローカル損失関数表面を集約し、グローバル損失関数表面を構築する。
• 集約された損失関数表面から Hyperopt を用いて最良のハイパーパラメータ設定を選択する。
• 重み共有を回避し、勾配ブースティング意思決定木を含む非ニューラルネットワークモデルにも適用可能である。
• 選択されたハイパーパラメータで1つのモデルをトレーニングするため、通信コストをベースラインに近い水準にまで削減することで、シングルショット最適化を実現する。
• データの不均一性に強い性能を発揮するよう、さまざまな損失関数表面集約戦略（例：SGM、MPLM）を評価する。

実験結果

リサーチクエスチョン

• RQ1 複数のトレーニングラウンドを必要とせず、1回の HPO フレームワークがフェデレーテッドラーニングで顕著な性能向上を達成できるか？
• RQ2 クライアント間でデータが不均一で非 IID な状況下でも、FLoRA はどの程度の性能を発揮するか？
• RQ3 SGD に依存しない勾配ブースティング意思決定木に対して、FLoRA は効果的にハイパーパラメータを最適化できるか？
• RQ4 さまざまな損失関数表面集約戦略（例：SGM、MPLM）は、最終モデルの堅牢性と精度にどのように影響を与えるか？
• RQ5 参加パーティ数が増加しても、特にデータの不均衡が顕著な状況下でも、FLoRA は性能の向上を維持できるか？

主な発見

• FLoRA は、デフォルトの scikit-learn XGBoost 設定よりもバランス精度を顕著に向上させ、EEG エイドステートデータセットでは 0.9251（ベースライン 0.8864）を達成した。
• Oil spill データセットでは、SGM 集約で 0.7374 のバランス精度を達成し、ベースラインの 0.5895 に対して 25.1% の向上を示した。
• Pollen データセットで 10 パarty 参加した場合、高いデータ不均一性のため相対的後悔（relative regret）が 1.0 を超えるケースも発生したが、MPLM が最も滑らかな性能低下を示した。
• Electricity データセットでは、APLM を用いた場合、10 パーティーでも相対的後悔が 0.0890 にとどまり、パーティ数の増加や中程度のデータ不均衡に対しても堅牢であることが示された。
• SGM+U および APLM 集約戦略は、すべてのデータセットで SGM や MPLM を上回る性能を示し、損失関数表面の推定精度が向上していることが示唆された。
• FLoRA は、7 つの OpenML データセットすべてで優れた性能を発揮し、多様な表形式データ分布およびモデル設定において有効性を実証した。