[論文レビュー] Context-Aware Online Client Selection for Hierarchical Federated Learning

Zhe Qu, Rui Duan+4 more|arXiv (Cornell University)|Dec 1, 2021

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、階層型フェデレーテッドラーニング（HFL）における文脈認識型オンラインクライアント選択（COCS）を提案する。COCSは、クライアントの計算能力や無線チャネル状態といったリアルタイムの文脈を考慮して、動的にクライアントを選択する学習ベースのクライアント選択方針であり、文脈的組合せマルチアームバンディット（CC-MAB）を用いる。COCSはサブラインアクレグレットを達成し、ベースラインと比較して顕著に高い学習性能を発揮し、非凸設定下でCIFAR-10で67.93%のテスト精度を達成しており、オラクル方策と0.48%以内の差に収束している。

ABSTRACT

Federated Learning (FL) has been considered as an appealing framework to tackle data privacy issues of mobile devices compared to conventional Machine Learning (ML). Using Edge Servers (ESs) as intermediaries to perform model aggregation in proximity can reduce the transmission overhead, and it enables great potentials in low-latency FL, where the hierarchical architecture of FL (HFL) has been attracted more attention. Designing a proper client selection policy can significantly improve training performance, and it has been extensively used in FL studies. However, to the best of our knowledge, there are no studies focusing on HFL. In addition, client selection for HFL faces more challenges than conventional FL, e.g., the time-varying connection of client-ES pairs and the limited budget of the Network Operator (NO). In this paper, we investigate a client selection problem for HFL, where the NO learns the number of successful participating clients to improve the training performance (i.e., select as many clients in each round) as well as under the limited budget on each ES. An online policy, called Context-aware Online Client Selection (COCS), is developed based on Contextual Combinatorial Multi-Armed Bandit (CC-MAB). COCS observes the side-information (context) of local computing and transmission of client-ES pairs and makes client selection decisions to maximize NO's utility given a limited budget. Theoretically, COCS achieves a sublinear regret compared to an Oracle policy on both strongly convex and non-convex HFL. Simulation results also support the efficiency of the proposed COCS policy on real-world datasets.

研究の動機と目的

• 時間的に変化するクライアント-ES接続性とネットワークオペレータ（NO）の予算制限という独自の課題を抱える階層型フェデレーテッドラーニング（HFL）に特化したクライアント選択戦略の不足に対処する。
• 各ラウンドにおける成功した参加クライアント数を最大化すると同時に、各エッジサーバー（ES）の予算制約を尊重することで、HFLにおける学習性能を向上させる。
• クライアントの性能に関する事前知識がなく、リアルタイムの文脈（例：送信品質、計算リソースの可用性）から学習するオンラインで適応可能なクライアント選択方策を設計する。
• 静的最適化ベースの戦略の限界を克服するため、動的で不確実なHFLネットワーク環境に適応可能な学習ベースのアプローチを導入する。

提案手法

• クライアント選択を不確実性下での逐次的意思決定問題としてモデル化するため、文脈的組合せマルチアームバンディット（CC-MAB）フレームワークに基づきCOCSを開発する。
• クライアントの計算リソース、エッジサーバー（ES）までの距離、無線チャネル帯域幅といった側情報（文脈）を用いて、クライアント参加の成功確率を推定する。
• 各ESの合計レンタル予算制約のもとで、NOの利得関数を成功参加クライアント数の関数として定式化する。
• 探索（性能が低いと予想されるクライアント-ESペアのテスト）と活用（成功確率の高いペアの選択）のバランスを取るバンディットベースの学習メカニズムを実装し、累積利得を最大化する。
• 文脈空間に分割戦略を適用して、類似したクライアント-ESペアをハイパーキューブにグループ化し、参加確率の効率的推定を可能にする。
• 理論的分析により、COCSが強凸および非凸HFL設定の両方でオラクル方策と比較してサブラインアクレグレットを達成することを証明した。

実験結果

リサーチクエスチョン

• RQ1 時間的に変化するクライアント-ES接続性と制限されたネットワークオペレータ予算という条件下で、HFLにおけるクライアント選択をどのように最適化できるか？
• RQ2 ネットワーク状態が不確実で動的である場合、学習ベースのアプローチが、静的または最適化ベースのクライアント選択方策を上回ることができるか？
• RQ3 計算能力やチャネル品質といった文脈的情報を組み込むことで、HFLにおけるクライアント選択性能はどの程度向上するか？
• RQ4 オンラインクライアント選択方策の理論的性能保証は何か？また、時間の経過とともに近似的最適な意思決定に収束するか？

主な発見

• COCSは強凸および非凸HFL設定の両方でサブラインアクレグレットを達成しており、オラクル方策と比較して漸近的に最適な性能を示している。
• CNNモデルを用いたCIFAR-10データセットにおいて、COCSは67.93%のテスト精度を達成し、LinUCB（65.19%）、CUCB（63.76%）、Random（62.25%）の各方策を上回った。
• 非凸設定下では、COCSはオラクル方策と比較して必要なトレーニングラウンド数を10%削減し、オラクルの92ラウンドに対し101ラウンドで収束した。
• 8秒のデッドライン下でCOCSの累積利得は5,378に達し、あるデッドラインまたは予算増加を超えると収益の逓減が見られた。
• 予算を3.5から5単位に増加させることで累積利得が向上したが、さらなる増加は低スループットのクライアント-ESペアに起因する固有のボトルネックのため、ほとんど利益を得られなかった。
• 非凸設定下では、近似されたオラクルを用いているため、COCSとオラクル方策の性能差は凸設定よりも小さい（0.48%の精度差）