[論文レビュー] Bandwidth Allocation for Multiple Federated Learning Services in Wireless Edge Networks

Jie Xu, Heqiang Wang+1 more|arXiv (Cornell University)|Jan 10, 2021

Privacy-Preserving Technologies in Data参考文献 41被引用数 6

ひとこと要約

本稿では、無線エッジネットワークにおける複数の重複するフェデレーテッドラーニング（FL）サービスのための2段階帯域幅割当フレームワークを提案し、サービス内クライアント帯域幅とサービス間リソース共有の最適化を図る。協力的プロバイダには分散アルゴリズムを、利己的プロバイダにはオークションベースの方式を導入し、より速いFL収束と多様なクライアントおよびチャネル状態における公平性の向上を実現する。

ABSTRACT

This paper studies a federated learning (FL) system, where extit{multiple} FL services co-exist in a wireless network and share common wireless resources. It fills the void of wireless resource allocation for multiple simultaneous FL services in the existing literature. Our method designs a two-level resource allocation framework comprising \emph{intra-service} resource allocation and \emph{inter-service} resource allocation. The intra-service resource allocation problem aims to minimize the length of FL rounds by optimizing the bandwidth allocation among the clients of each FL service. Based on this, an inter-service resource allocation problem is further considered, which distributes bandwidth resources among multiple simultaneous FL services. We consider both cooperative and selfish providers of the FL services. For cooperative FL service providers, we design a distributed bandwidth allocation algorithm to optimize the overall performance of multiple FL services, meanwhile cater to the fairness among FL services and the privacy of clients. For selfish FL service providers, a new auction scheme is designed with the FL service owners as the bidders and the network provider as the auctioneer. The designed auction scheme strikes a balance between the overall FL performance and fairness. Our simulation results show that the proposed algorithms outperform other benchmarks under various network conditions.

研究の動機と目的

• 共有無線ネットワークにおける複数の重複するフェデレーテッドラーニング（FL）サービスのための無線リソース割当に関するギャップを埋める。
• サービス内クライアント割当とサービス間割当を統合的に最適化する2段階帯域幅割当問題を形式化する。
• クライアントのプライバシーを保持しつつ、動的なサービスの到着および退出をサポートしながら、FLサービス間の公平性を確保する。
• 協力的および利己的なFLサービスプロバイダをそれぞれ異なる割当メカニズムで処理する。
• クライアント数やチャネル状態の不均一性下でも、システム全体のFLパフォーマンスと帯域幅分配の公平性の両立を図る。

提案手法

• サービス内（クライアントレベル）およびサービス間（FLサービスレベル）の2段階リソース割当フレームワークを設計する。
• 協力的プロバイダの場合、凸最適化と双対分解を用いてクライアント帯域幅とサービス公平性を同時に最適化する分散アルゴリズムを開発する。
• 利己的プロバイダの場合、FLサービス所有者が帯域幅を入札する新しいオークションメカニズムを提案し、ネットワークプロバイダをオークショーマンとして位置づける。
• 最適化に公平性制約を組み込み、いかなるFLサービスのスターバーションも防ぐ。
• FL学習プロセスを、モデルダウンロード、ローカルトレーニング、パラメータアップロードを含むラウンドの繰り返しとしてモデル化し、帯域幅がラウンド期間に与える影響を明確にする。
• 非凸な帯域幅割当問題を解くために凸緩和と反復アルゴリズムを用い、収束性とスケーラビリティを保証する。

実験結果

リサーチクエスチョン

• RQ1 共有無線エッジネットワークにおける複数の重複するFLサービスの間で、帯域幅をどのように効率的に割り当てることができるか？
• RQ2 個々のサービスのFLラウンド期間を最小化する最適なサービス内帯域幅割当戦略は何か？
• RQ3 競合する複数のFLサービス間で、全体のシステムパフォーマンスと公平性のバランスを取るために、サービス間帯域幅割当をどのように設計できるか？
• RQ4 FLサービスプロバイダが利己的であり、帯域幅要件を不正に報告する可能性がある状況でも、公平性とプライバシーを保証するメカニズムは何か？
• RQ5 クライアントの不均一性（数およびチャネル状態）が、提案された帯域幅割当方式のパフォーマンスにどのように影響を与えるか？

主な発見

• 協力的プロバイダ向けに提案された分散アルゴリズムは、特にクライアント数やチャネルの不均一性が高い状況でも、ベンチマークと比較してより速いFL収束を達成する。
• 利己的プロバイダ向けに提案されたオークションベースの方式は、システム効率と公平性のバランスを維持し、単純な割当戦略を上回る性能を示す。
• 10の動的FLサービスを含む長期シミュレーションにおいて、提案アルゴリズムはベースライン手法と比較して平均FLサービス期間を最大30％短縮した。
• 提案アルゴリズムのパフォーマンス向上は、クライアント数やチャネル状態の不均一性が高くなるに従って顕著になり、実世界のシナリオにおけるロバストネスを示している。
• FLサービスの平均到着間隔が延びる（すなわち、同時に存在するサービス数が減る）ほど、帯域幅競合が減少し、平均FL期間が短くなる。
• 不均一性が高まるにつれて平均期間の標準偏差も増加するが、提案アルゴリズムは低い平均期間を維持しており、不確実性下でも一貫したパフォーマンスを示している。