[論文レビュー] Federated Multi-Armed Bandits

Chengshuai Shi, Cong Shen|arXiv (Cornell University)|Jan 28, 2021

Advanced Bandit Algorithms Research参考文献 43被引用数 6

ひとこと要約

本稿では、フェデレーテッド・ラーニングの原則を確率的マルチアームバンディット問題に拡張し、非IIDのクライントデータからプライバシー保護型で通信効率の高いグローバルモデル学習を可能にする、新しいフレームワークであるフェデレーテッド・マルチアームバンディット（FMAB）を提案する。本稿では、アームとクライントのサンプリング不確実性をバランスさせる二重UCBアルゴリズムであるFed2-UCBを提案し、明示的な通信コスト制御のもとでO(log T)のレグレットを達成する。また、正確なモデルを想定したFed1-UCBを提案し、適切な更新周期を用いることでクライント数に依存しない順序最適なレグレットを達成する。

ABSTRACT

Federated multi-armed bandits (FMAB) is a new bandit paradigm that parallels the federated learning (FL) framework in supervised learning. It is inspired by practical applications in cognitive radio and recommender systems, and enjoys features that are analogous to FL. This paper proposes a general framework of FMAB and then studies two specific federated bandit models. We first study the approximate model where the heterogeneous local models are random realizations of the global model from an unknown distribution. This model introduces a new uncertainty of client sampling, as the global model may not be reliably learned even if the finite local models are perfectly known. Furthermore, this uncertainty cannot be quantified a priori without knowledge of the suboptimality gap. We solve the approximate model by proposing Federated Double UCB (Fed2-UCB), which constructs a novel "double UCB" principle accounting for uncertainties from both arm and client sampling. We show that gradually admitting new clients is critical in achieving an O(log(T)) regret while explicitly considering the communication cost. The exact model, where the global bandit model is the exact average of heterogeneous local models, is then studied as a special case. We show that, somewhat surprisingly, the order-optimal regret can be achieved independent of the number of clients with a careful choice of the update periodicity. Experiments using both synthetic and real-world datasets corroborate the theoretical analysis and demonstrate the effectiveness and efficiency of the proposed algorithms.

研究の動機と目的

• プライバシーに配慮した分散環境におけるバンディット問題にフェデレーテッド・ラーニングの原則を拡張する一般フレームワークであるフェデレーテッド・マルチアームバンディット（FMAB）の構築を目的とする。
• 局所モデルが未知のサブオプティマルギャップを持つグローバルモデルの確率的実現である場合に生じる、クライントのサンプリング不確実性というFMABにおける新規課題に対処することを目的とする。
• 探索のバランスをとる通信効率の良いアルゴリズムの設計を目的とし、制限された通信条件下でのレグレットを最小限に抑えること。
• FMABモデルの理論的レグレットバウンドの分析を目的とし、特に正確なモデルの場合にクライント数に依存しない順序最適なレグレットが達成可能であることを示すこと。
• 提案されたアルゴリズムの有効性を、合成データおよび実世界のデータセットを用いた実験により検証すること。

提案手法

• 非IIDの局所モデルから成る分散クライント間で、データプライバシーを保護するとともに通信量を最小限に抑えることで、グローバルバンディットモデルを学習する一般FMABフレームワークを提案する。
• サブオプティマルギャップの事前知識がなくても、アームのサンプリングとクライントのサンプリングの両方の不確実性を同時に考慮する、新規の「二重UCB」原理に基づくFed2-UCBアルゴリズムを導入する。
• 段階的クライント受容戦略を採用し、探索と通信コストのバランスを保ち、通信オーバーヘッドを明示的に考慮することで、O(log T)のレグレットを達成する。
• 標準MABに対する下界に近い性能を達成する理論的レグレットバウンドを導出する。これは、標準MABに比べて通信コストに起因する追加の損失項を含む。
• グローバルモデルが局所モデルの正確な平均であるという正確なモデルの場合に、Fed2-UCBを特殊化してFed1-UCBを提案する。最適な更新周期を用いることで、クライント数に依存しない順序最適なレグレットを達成する。
• 信頼区間を基に動的に新規クライントを統合するクライントのサンプリング戦略を採用し、非IIDデータおよび未知のグローバルモデル構造に対しても耐性を確保する。

実験結果

リサーチクエスチョン

• RQ1 非IIDの多数の局所クライントから、どのようにして効率的かつプライバシー保護型にグローバルマルチアームバンディットモデルを学習できるか？
• RQ2 サブオプティマルギャップが未知である場合に、クライントのサンプリング不確実性がフェデレーテッドバンディット設定におけるレグレットに与える影響は何か？
• RQ3 通信コストを探索と明示的にバランスさせることで、フェデレーテッドバンディットフレームワークでO(log T)のレグレットを達成できるか？
• RQ4 正確なFMABモデルにおいて、クライント数に依存しない順序最適なレグレットを達成することは可能か？
• RQ5 提案されたアルゴリズムは、プライバシー制約および通信制約の下で、実世界および合成データセットにおいて実際の性能をどのように発揮するか？

主な発見

• Fed2-UCBは、アームとクライントの両方のサンプリング不確実性を考慮しつつ、明示的な通信コスト制御のもとでO(log T)のレグレットを達成し、標準的な確率的MABの下界に近づく。
• 提案されたFed2-UCBアルゴリズムは、二重UCB原理を用いることで、未知のサブオプティマルギャップに対しても、アームとクライントの両方の探索をバランスさせることに成功している。
• 段階的クライント受容戦略は、近似FMABモデルにおいてO(log T)のレグレットを維持し、通信オーバーヘッドを最小限に抑えるために不可欠である。
• 正確なFMABモデルでは、最適な更新周期が適切に選ばれれば、Fed1-UCBはクライント数に依存しない順序最適なレグレットを達成する。
• 合成および実世界のデータセットを用いた実験により、理論的分析の妥当性が確認され、Fed2-UCBおよびFed1-UCBが収束速度と通信効率の両面でベースラインを上回ることが示された。
• 結果から、通信コストとクライントのサンプリング戦略が性能に顕著な影響を与えることが明らかになった。適切な周期性をとることで、数百万のクライントを含むスケーラブルで効率的な学習が可能になる。