[論文レビュー] Federated Multi-armed Bandits with Personalization

Chengshuai Shi, Cong Shen+1 more|arXiv (Cornell University)|Feb 25, 2021

Advanced Bandit Algorithms Research参考文献 30被引用数 15

ひとこと要約

本稿は、プライバシー保護された分散型環境において、グローバルおよびローカルの学習目的を共同で最適化する、新たなプライベートなフェデレーテッドマルチアームバンディット（PF-MAB）フレームワークを提案する。個人化されたフェデレーテッドUCB（PF-UCB）アルゴリズムを導入し、グローバルおよびローカルモデルのための探索を動的にバランスさせることで、個人化の程度に関わらずO(log T)のレグレットを達成し、インスタンス依存の性能において理論的下界に一致する。

ABSTRACT

A general framework of personalized federated multi-armed bandits (PF-MAB) is proposed, which is a new bandit paradigm analogous to the federated learning (FL) framework in supervised learning and enjoys the features of FL with personalization. Under the PF-MAB framework, a mixed bandit learning problem that flexibly balances generalization and personalization is studied. A lower bound analysis for the mixed model is presented. We then propose the Personalized Federated Upper Confidence Bound (PF-UCB) algorithm, where the exploration length is chosen carefully to achieve the desired balance of learning the local model and supplying global information for the mixed learning objective. Theoretical analysis proves that PF-UCB achieves an $O(\log(T))$ regret regardless of the degree of personalization, and has a similar instance dependency as the lower bound. Experiments using both synthetic and real-world datasets corroborate the theoretical analysis and demonstrate the effectiveness of the proposed algorithm.

研究の動機と目的

• プライバシー制約下で、フェデレーテッドマルチアームバンディットにおけるグローバルな一般化とローカルな個人化のバランスをとる課題に対処すること。
• フェデレーテッド学習の原則を、個人化されたモデル目的を有するバンディット設定に拡張する体系的なフレームワークを構築すること。
• 多様なクライアントのデータ分布において、低コストの通信を維持しながら、強力なレグレット性能を保証するアルゴリズムを設計すること。
• グローバルおよびローカル探索の間の根本的トレードオフを理論的に分析し、混合学習目的の下界を導出すること。

提案手法

• アプリケーション固有のニーズに基づいて、グローバルおよびローカルモデルのパフォーマンスを滑らかにバランスさせる混合学習目的を提案する。
• フェーズベースの探索を採用するPF-UCBアルゴリズムを設計し、パラメータαを用いてグローバルおよびローカルモデルの探索長を動的に調整する。
• 2段階の通信メカニズムを採用：各フェーズの開始時に、クライアントがアーム統計とアクティブセットを交換することで調整を維持する。
• 信頼区間と指数的尾部バウンドを用いて探索を制御し、高確率でのレグレット保証を確保する。
• クライアントの非均一性と収束の非一様性に対処するため、探索と活用のトレードオフに基づく同期メカニズムを導入する。
• イベントベースの解析を用いて理論的レグレットバウンドを導出し、安定性と収束を保証する高確率イベントGに条件づける。

実験結果

リサーチクエスチョン

• RQ1 個人化されたフェデレーテッドバンディットにおけるグローバル探索とローカル探索の根本的トレードオフは何か。そして、どのように定量化できるか。
• RQ2 フェデレーテッドバンディットアルゴリズムは、異種クライアント間で個人化と一般化をバランスさせながら、O(log T)のレグレットを達成できるか。
• RQ3 限られたフィードバックとプライバシー制約がある動的で分散型のバンディット設定において、通信効率をどのように維持できるか。
• RQ4 フェデレーテッドバンディットにおける、提案された混合グローバル・ローカル学習目的のインスタンス依存レグレット下界は何か。
• RQ5 クライアントの非均一性は、フェデレーテッドバンディット学習における同期と収束にどのように影響し、どのように緩和できるか。

主な発見

• PF-UCBアルゴリズムは、個人化の度合いに関わらずO(log T)のレグレットを達成し、さまざまな個人化レベルにおいても堅牢性を示す。
• PF-UCBのレグレットは、導出された下界のインスタンス依存スケーリングと一致しており、問題固有の難易度において理論的最適性を示している。
• 通信コストが顕著に削減され、α=0.5の条件下で10^6ステップの間にわずか72回の通信で済むことが確認され、実用的効率性が高いことが示された。
• M=40のクライアントとK=4のアームという極端なクライアント非均一性下でも、安定したパフォーマンスを維持しており、スケーラビリティが確認された。
• f(p) = 2^p log(T) の選択が、大規模なホライズンにおいてf(p) = 10 log(T) や f(p) = log(T) よりも通信スケーリングにおいて最も効率的であることが判明した。
• 合成データおよび実世界のMovieLensデータを用いた実験結果から、PF-UCBがグローバルおよびローカルパフォーマンスを効果的にバランスさせつつ、通信オーバーヘッドを最小限に抑えることが確認された。