[論文レビュー] FedBalancer: Data and Pace Control for Efficient Federated Learning on Heterogeneous Clients

Jaemin Shin, Yuanchun Li+2 more|arXiv (Cornell University)|Jan 5, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

FedBalancer は、クライアント側のサンプル選択と適応的デッドライン制御を通じて、データと進行速度を統合的に最適化する体系的なフェデレーテッドラーニングフレームワークである。微分プライバシーを用いた損失しきい値を用いて高利便性のサンプルを選択し、動的にラウンドのデッドラインを設定することで、ベースラインの FL 法よりも 1.20–4.48× の高速な収束と 1.1–5.0% の高い精度を達成している。

ABSTRACT

Federated Learning (FL) trains a machine learning model on distributed clients without exposing individual data. Unlike centralized training that is usually based on carefully-organized data, FL deals with on-device data that are often unfiltered and imbalanced. As a result, conventional FL training protocol that treats all data equally leads to a waste of local computational resources and slows down the global learning process. To this end, we propose FedBalancer, a systematic FL framework that actively selects clients' training samples. Our sample selection strategy prioritizes more "informative" data while respecting privacy and computational capabilities of clients. To better utilize the sample selection to speed up global training, we further introduce an adaptive deadline control scheme that predicts the optimal deadline for each round with varying client training data. Compared with existing FL algorithms with deadline configuration methods, our evaluation on five datasets from three different domains shows that FedBalancer improves the time-to-accuracy performance by 1.20~4.48x while improving the model accuracy by 1.1~5.0%. We also show that FedBalancer is readily applicable to other FL approaches by demonstrating that FedBalancer improves the convergence speed and accuracy when operating jointly with three different FL algorithms.

研究の動機と目的

• すべてのクライアントデータを同等に扱う従来の FL の非効率性に対処し、計算リソースの無駄を減らし、非均質的かつ不均衡なデータにおける収束速度の遅さを改善すること。
• データ共有を必要とせず、クライアントのデータプライバシーを損なわず、有用なサンプルを選択する課題を克服すること。
• クライアント固有のデータと計算能力に基づいて、ラウンドのデッドラインを動的に調整することで、時間当たりの精度到達までの性能を向上させること。
• 既存の FL アルゴリズムと互換性があり、段階的に適用可能で、収束速度とモデル精度を向上させることを可能にするフレームワークを設計すること。
• 低性能デバイスが、タイトなデッドライン内で高利便性のサンプルに焦点を当てることで、意味のある貢献を可能にすること。

提案手法

• クライアントが微分プライバシーを用いた損失しきい値を用いて局所的にサンプルの利便性を推定する、クライアント・サーバー間の協調メカニズムを提案。これにより、完全なモデル再訓練を必要とせず、プライバシーを保ったまま有用なサンプルを選択可能となる。
• 損失の大きさに基づく統計的利便性指標を導入し、モデル向上に最も寄与するサンプルを特定。この指標により、高インパクトのトレーニングサンプルを優先的に選択する。
• 新たな指標であるデッドライン効率（DDL-E）を用いて、1 単位時間あたりに完了するクライアント数を最大化する最適なラウンドデッドラインを予測する、適応的デッドライン制御戦略を設計。
• 2段階のプロセスを採用：まず、クライアントが各ラウンドで高利便性のサンプルのサブセットを選択。次に、サーバーがクライアントのフィードバックとデータ分布に基づき、最適なデッドラインを計算・ブロードキャスト。
• サンプル選択とデッドライン制御をコアなアグリゲーション処理から分離することで、既存の FL アルゴリズムとシームレスに統合可能。
• サンプル利便性推定の過程でクライアントレベルの統計情報を保護するため、微分プライバシーを用いることで、FL のプライバシー・バイ・デザイン原則に準拠している。

実験結果

リサーチクエスチョン

• RQ1 非均質なクライアントにおいて、データプライバシーを損なわず、収束速度を向上させるにはどうすればよいか？
• RQ2 限られたクライアントの計算リソースを効率的に使用しつつ、モデル精度を維持または向上させるサンプル選択戦略は何か？
• RQ3 クライアントのデータ分布とトレーニングワークロードの変動に応じて、ラウンド完了効率を最大化するようにデッドライン制御を動的に適応させるにはどうすればよいか？
• RQ4 サンプル選択とデッドライン制御を統合した体系的フレームワークは、従来の FL ベースラインと比較して、時間当たりの精度到達とモデル精度の面でどの程度優れているか？
• RQ5 提案されたフレームワークは、他の FL アルゴリズムと効果的に組み合わせられ、さらなる性能向上が達成可能か？

主な発見

• FedBalancer は、固定またはヒューリスティックなデッドライン設定を持つ既存の FL アルゴリズムと比較して、時間当たりの精度到達性能を 1.20× から 4.48× 向上させた。
• 移動、交通、医療画像など多様な分野にまたがる 5 つの実世界データセットを用いた実験で、最終モデルの精度が 1.1% から 5.0% 向上した。
• サンプル選択により、トレーニング全体を通して無意味なサンプルの割合が 93.2% から 20% に低下し、低性能デバイスにおけるトレーニング効率が顕著に向上した。
• DDL-E 指標によって誘導される適応的デッドライン制御機構により、クライアントリソースのより良い活用が可能になり、実際のクライアントのトレーニング進行状況に合わせたデッドライン設定により、グローバルな収束が高速化された。
• FedAvg、FedProx、FedNova の 3 つの既存 FL アルゴリズムとともに、互換性があり、統合することで一貫した性能向上を示した。
• 微分プライバシーを用いた損失しきい値の使用により、サンプル選択の過程で生データやラベルが露出することなく、クライアントのプライバシーを保護しながら効果的な利便性推定が可能になった。