[論文レビュー] Low-Latency Federated Learning over Wireless Channels with Differential Privacy

Kang Wei, Jun Li+6 more|arXiv (Cornell University)|Jun 20, 2021

Privacy-Preserving Technologies in Data参考文献 42被引用数 5

ひとこと要約

本稿では、マルチエージェントマルチアームバンディット（MAMAB）アプローチを用いて、学習遅延、モデル性能、クライアントレベルの微分プライバシー（DP）を共同最適化する、無線チャネル上での低遅延フェデレーテッドラーニングフレームワークを提案する。リャプノフドリフトを用いた制約処理と、修正されたハンガリアンアルゴリズムおよびより良い代替手法を用いたグリーディマッチング（GMBA）による最大最小二部マッチング問題の解法により、低複雑性かつほぼ最適な性能を達成し、通信ラウンド数の対数関数的に増加するレジーットバウンドを実現する。

ABSTRACT

In federated learning (FL), model training is distributed over clients and local models are aggregated by a central server. The performance of uploaded models in such situations can vary widely due to imbalanced data distributions, potential demands on privacy protections, and quality of transmissions. In this paper, we aim to minimize FL training delay over wireless channels, constrained by overall training performance as well as each client's differential privacy (DP) requirement. We solve this problem in the framework of multi-agent multi-armed bandit (MAMAB) to deal with the situation where there are multiple clients confornting different unknown transmission environments, e.g., channel fading and interferences. Specifically, we first transform the long-term constraints on both training performance and each client's DP into a virtual queue based on the Lyapunov drift technique. Then, we convert the MAMAB to a max-min bipartite matching problem at each communication round, by estimating rewards with the upper confidence bound (UCB) approach. More importantly, we propose two efficient solutions to this matching problem, i.e., modified Hungarian algorithm and greedy matching with a better alternative (GMBA), in which the first one can achieve the optimal solution with a high complexity while the second one approaches a better trade-off by enabling a verified low-complexity with little performance loss. In addition, we develop an upper bound on the expected regret of this MAMAB based FL framework, which shows a linear growth over the logarithm of communication rounds, justifying its theoretical feasibility. Extensive experimental results are conducted to validate the effectiveness of our proposed algorithms, and the impacts of various parameters on the FL performance over wireless edge networks are also discussed.

研究の動機と目的

• 制約付きのモデル性能と個々のクライアントの微分プライバシー（DP）要件の下で、無線フェデレーテッドラーニングにおける学習遅延を最小化する課題に対処する。
• チャネルフェージングやインタリーレンスなどの、未知かつ時間変動するクライアント送信状態を伴う無線環境における固有の不確実性に取り組む。
• 動的かつ現実的な無線エッジネットワークにおいて、プライバシーと効率性を維持するスケーラブルで分散型の学習フレームワークを設計する。
• 複数クライアントの無線FLシステムにおいて、通信遅延、モデル収束、個々のプライバシー保証の間のトレードオフをバランスさせる。
• 提案されたMAMABベースの学習アルゴリズムの長期的パフォーマンスと実現可能性を検証するための理論的レジーットバウンドを導出する。

提案手法

• リャプノフドリフト技術を用いて、モデル性能およびクライアントDPに関する長期的制約を仮想キューに変換し、動的最適化を可能にする。
• 未知かつ非定常な無線チャネル状態を扱うために、クライアントスケジューリングおよびリソース割り当て問題をマルチエージェントマルチアームバンディット（MAMAB）フレームワークとしてモデル化する。
• MAMAB設定における探索と活用のバランスを図るため、各クライアント・アクションペアの報酬を上位信頼区間（UCB）法を用いて推定する。
• 各通信ラウンドにおけるMAMAB問題を、クライアント間の最小報酬を最大化する最大最小二部マッチング問題として定式化する。
• 2つの効率的な解決策を提案：高複雑性の最適マッチングに適した修正ハンガリアンアルゴリズムと、低複雑性かつ最小限の性能損失を実現するグリーディマッチング・with・ベター・アルTERNATIVE（GMBA）。
• MAMABフレームワークの期待レジーットに対する理論的上界を導出し、通信ラウンド数の対数関数的増加を示し、その漸近的最適性を確認する。

実験結果

リサーチクエスチョン

• RQ1 無線フェデレーテッドラーニングにおける学習遅延を、グローバルモデル性能と個々のクライアントの微分プライバシー制約を満たす条件下でどのように最小化できるか？
• RQ2 未知のチャネル状態とインタリーレンスを伴う動的無線環境において、最適なクライアントスケジューリングおよびリソース割り当て戦略は何か？
• RQ3 大規模かつプライバシー保護型FLシステムにおいて、計算複雑性とパフォーマンスの間のトレードオフをどのようにバランスさせるか？
• RQ4 時間変動する無線条件とプライバシー制約下で、MAMABベースのFLフレームワークにどのような理論的パフォーマンス保証を提供できるか？
• RQ5 クライアントのデータ分布、DP予算、チャネル品質といった主要なシステムパラメータが、FLプロセスの収束性と遅延にどのように影響を与えるか？

主な発見

• 提案されたGMBAアルゴリズムは、正確なハンガリアン法と比較して著しく低い計算複雑性を実現しながらも、ほぼ最適なパフォーマンスを達成し、リアルタイムデプロイメントに適している。
• 理論的レジーットバウンドは通信ラウンド数の対数関数的に増加するため、アルゴリズムが効率的に収束し、長期的なパフォーマンス安定性を維持していることが示された。
• 本フレームワークは、不均衡なデータ分布や変動するチャネル状態下でも、クライアントレベルの微分プライバシーを維持しながら学習遅延を最小化している。
• 広範なシミュレーションにより、提案手法が（例：ランダム、ラウンドロビンなど）ベースラインスケジューリングポリシーを上回ることを検証した。収束速度と最終的なモデル精度の両面で優れた性能を示した。
• DPパラメータとチャネル品質がFLパフォーマンスに与える影響を定量的に分析した。高いDP予算はモデル精度を向上させるが、通信負荷を増加させることを示した。
• リャプノフドリフトに基づく制約処理は、時間経過に伴って全クライアントにおける学習パフォーマンスとDP準拠性を効果的に維持した。