[論文レビュー] Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits

Chuanhao Li, Hongning Wang|arXiv (Cornell University)|Oct 4, 2021

Advanced Bandit Algorithms Research参考文献 2被引用数 4

ひとこと要約

本稿では、グローバルな同期を必要とせず、異種のクライアント間で効率的で通信最適化された学習を可能にする、フェデレーテッド線形バンディットにおける非同期Upper Confidence Bound（UCB）アルゴリズムを提案する。モデルの変化が重要になると判断された場合にのみ更新をトリガーすることで、通信コストを削減しつつ、低レグレットを維持する。実験結果では、能動的なユーザーからの選択的データ共有により、性能が向上していることが示された。

ABSTRACT

Linear contextual bandit is a popular online learning problem. It has been mostly studied in centralized learning settings. With the surging demand of large-scale decentralized model learning, e.g., federated learning, how to retain regret minimization while reducing communication cost becomes an open challenge. In this paper, we study linear contextual bandit in a federated learning setting. We propose a general framework with asynchronous model update and communication for a collection of homogeneous clients and heterogeneous clients, respectively. Rigorous theoretical analysis is provided about the regret and communication cost under this distributed learning framework; and extensive empirical evaluations demonstrate the effectiveness of our solution.

研究の動機と目的

• 分散型で大規模な学習環境において、フェデレーテッド線形バンディットのレグレットを最小化すると同時に、通信オーバーヘッドを低減する課題に対処すること。
• グローバルな同期を回避する、耐障害性に優れた非同期通信フレームワークを設計すること。特に、クライアントの遅延や利用不能に対する耐性を高めること。
• クライアントが異なる報酬関数やデータ分布を持つ場合でも、統一された学習フレームワーク内で、同種および異種のクライアントをサポートすること。
• さまざまなクライアントの活動度とデータの非独立同分布（non-IID）度合いの下で、提案手法のレグレットと通信コストについて理論的解析と実証的検証を行うこと。

提案手法

• クライアントがローカルモデルがグローバルモデルに対して十分に古くなったと判断された場合にのみ、サーバーに更新を送信するイベント駆動型非同期通信メカニズムを提案する。
• 通信によるレグレット低減の潜在的効果に基づき、通信を実行する価値があると判断するためのしきい値条件（パラメータγでパrameter化）を導入する。
• 同種クライアント（共通の報酬関数を共有）と異種クライアント（マルチタスク学習設定で共通のグローバルパラメータを持つ）の両方を想定した、2つのアルゴリズムバージョンを開発する。
• 各クライアントがローカルな期待報酬推定値に基づいて行動を選択する線形文脈バンディットフレームワークに、上界信頼区間（UCB）探索を採用する。
• 主成分分析（PCA）を用いてユーザーエンベッディングを可視化し、特に集約データによるバイアスとバリアンスのトレードオフに与えるデータの非均質性の影響を分析する。
• 理論的解析により、累積レグレットと通信コストの上界を導出し、IIDおよび非IIDデータの両仮定下で、本手法の効率性と収束性を証明する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな同期に依存せずに、フェデレーテッド線形バンディットにおける通信コストをどのように低減できるか？
• RQ2 クライアントのローカルモデル更新が、レグレット低減に有意に寄与する条件は何か？通信を正当化する根拠となる。
• RQ3 データの非均質性、特にあまり活発でないクライアントからのデータが、非同期フェデレーテッドバンディット学習におけるグローバルモデルの性能にどのように影響するか？
• RQ4 通信回数を減らしたとしても、能動的なユーザーからの選択的データ共有が、全体の性能向上に寄与するか？
• RQ5 非同期フェデレーテッドバンディット学習の文脈において、非IIDデータによるバイアスと限られたデータによるバリアンスのトレードオフはどのようなものか？

主な発見

• 通信しきい値γが大きい（例：∞）場合、グローバル更新に参加するのは最も能動的なユーザーのみであり、通信回数14,230回で累積報酬は1.6891に達する。
• γが小さくなり、より多くのクライアントが通信に参加するようになると（例：γ = 3）、通信回数14,230回で累積報酬は1.8348に増加し、選択的データ共有による性能向上が確認された。
• しかし、通信回数がさらに増加すると（例：γ = 3、C_T = 54,006）、あまり活発でないグループの累積報酬は著しく低下（22から11に）し、高すぎる非均質性によるデータ集約が性能を劣化させることを示している。
• ユーザーエンベッディングの可視化から、能動的なユーザー（80–100）は特徴空間の中心に位置しており、あまり活発でないユーザーは直交方向に散らばっていることがわかった。これは、そのデータを集約するとモデル性能が劣化する理由を説明している。
• 結果から、能動的ユーザーからのデータが全グループの性能向上に寄与することは確認されたが、非均質であまり活発でないユーザーのデータを集約するとバイアスが増加し、全体の効果が低下することが明らかになった。
• 非同期フレームワークは、クライアントの可用性やデータスパarsityが変動する環境において、同期手法に比べて通信コストを低く抑え、より優れたレグレット性能を達成している。