[論文レビュー] Federated Linear Contextual Bandits

Ruiquan Huang, Weiqiang Wu+2 more|arXiv (Cornell University)|Oct 27, 2021

Advanced Bandit Algorithms Research参考文献 58被引用数 15

ひとこと要約

本稿では、生データや局所特徴を共有せずに、クライアントが共同でグローバルパラメータを学習できる通信効率の高いフェデレーテッド線形コンテキストバンディットアルゴリズム、Fed-PEを提案する。マルチクライアントG最適設計と相関依存ポリシーを活用することで、分割および共有パラメータ設定の両方において、対数的通信コストでほぼ最適なレグレットを達成する。

ABSTRACT

This paper presents a novel federated linear contextual bandits model, where individual clients face different $K$-armed stochastic bandits coupled through common global parameters. By leveraging the geometric structure of the linear rewards, a collaborative algorithm called Fed-PE is proposed to cope with the heterogeneity across clients without exchanging local feature vectors or raw data. Fed-PE relies on a novel multi-client G-optimal design, and achieves near-optimal regrets for both disjoint and shared parameter cases with logarithmic communication costs. In addition, a new concept called collinearly-dependent policies is introduced, based on which a tight minimax regret lower bound for the disjoint parameter case is derived. Experiments demonstrate the effectiveness of the proposed algorithms on both synthetic and real-world datasets.

研究の動機と目的

• 各クライアントが異なるK腕の確率的バンディットに直面するフェデレーテッドマルチクライアントコンテキストバンディットにおけるデータ非適合性の課題に対処すること。
• 局所特徴ベクトルや生データを共有しないまま学習性能を維持する通信効率の高いアルゴリズムを設計すること。
• 分割パラメータと共有パラメータの両設定において、対数的通信コストでほぼ最適なレグレット性能を達成すること。
• 相関依存ポリシーの新概念を用いて、分割パラメータケースにおけるタイトなミニマックスレグレット下界を確立すること。

提案手法

• クライアントがグローバルパラメータの局所推定値のみを共有できる協調的アルゴリズムであるFed-PEを提案し、データプライバシーを保持する。
• 推定分散を最小化し収束を向上させるために、クライアント間の探索を調整するマルチクライアントG最適設計を導入する。
• 適応的フェーズ長を用いたフェーズベース探索戦略を採用し、探索と活用のバランスを効率的に実現する。
• G最適設計問題を解くためにブロック座標昇下（BCA）アルゴリズムを適用し、各フェーズにおけるクライアント参加のスパarsityを保証する。
• 分割パラメータケースにおけるタイトなミニマックスレグレット下界を導出するために、相関依存ポリシーの新概念を活用する。
• スパarsityレベル指標を導入し、各フェーズあたりの平均アーム探索数を定量化することで、通信コストと関連付ける。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド線形コンテキストバンディットフレームワークは、最小限の通信量でクライアントのデータプライバシーを保ちながら、ほぼ最適なレグレットを達成できるか？
• RQ2 生データを共有せずに、報酬分布のクライアント非適合性を共同バンディット設定で効果的に管理できるか？
• RQ3 分割パラメータケースにおけるレグレットの根本的限界は何か？ そして、それをタイトに特徴づけられるか？
• RQ4 フェーズ長選択の選択が、フェデレーテッドバンディットにおけるレグレットと通信コストのトレードオフに与える影響はいかほどか？
• RQ5 スパース探索戦略は、フェデレーテッドバンディットにおけるクライアントごとの通信オーバーヘッドをどの程度低減できるか？

主な発見

• Fed-PEは、分割および共有パラメータ設定の両方において、対数的通信コストでほぼ最適なレグレットを達成し、帯域幅の使用を顕著に削減する。
• 推定分散を低減する新規G最適設計のおかげで、先行研究と比較してレグレットバウンドが√Kの要因で改善される。
• スパarsityレベルが示すように、各フェーズあたり平均して約2本のアームしか探索しないことで、クライアントごとの通信量を低く抑えられる。
• 実験では、均等なフェーズ長選択が最小のレグレットを達成するが、指数的選択がレグレットと通信コストの最良トレードオフを提供する。
• 分割パラメータケースにおけるミニマックスレグレット下界は、相関依存ポリシーの概念を用いてタイトに導出され、理論的最適性が確認される。
• BCAアルゴリズムの反復回数はクライアント数Mに反比例するため、クライアント数の増加に伴うスケーラビリティが示される。