[論文レビュー] Differentially-Private Federated Linear Bandits

Abhimanyu Dubey, Alex Pentland|arXiv (Cornell University)|Oct 22, 2020

Advanced Bandit Algorithms Research参考文献 51被引用数 32

ひとこと要約

FedUCB を導入した、中央集権型および分散型設定の差分プライバシーを備えたフェデレーテッド文脈線形バンディットアルゴリズム。後悔とプライバシー保証、および通信複雑さの分析。

ABSTRACT

The rapid proliferation of decentralized learning systems mandates the need for differentially-private cooperative learning. In this paper, we study this in context of the contextual linear bandit: we consider a collection of agents cooperating to solve a common contextual bandit, while ensuring that their communication remains private. For this problem, we devise extsc{FedUCB}, a multiagent private algorithm for both centralized and decentralized (peer-to-peer) federated learning. We provide a rigorous technical analysis of its utility in terms of regret, improving several results in cooperative bandit learning, and provide rigorous privacy guarantees as well. Our algorithms provide competitive performance both in terms of pseudoregret bounds and empirical benchmark performance in various multi-agent settings.

研究の動機と目的

• 分散型（フェデレート）文脈バンディットにおける実用的な私的協調学習を動機づける。
• マルチエージェント文脈バンディットのための形式的なフェデレーテッド差分プライバシーを定義する。
• プライバシー保証を伴う集中型および分散型設定向けのFedUCB変種を提案する。
• プライバシー制約下での後悔境界と通信複雑さを分析する。
• マルチエージェントネットワークにおけるプライバシー予算が性能に与える影響についての指針を提供する。

提案手法

• 時系列楕円形信頼集合とUCBを構築することでLinUCBをフェデレーテッド設定に拡張する。
• 差分プライバシーを満たすようにグラム行列と報酬ベクトルをプライバシー保護ノイズで摂動する。
• コントローラが privatized なグローバル統計を同期し異質性を制御する集中型 FedUCB を開発する。
• 遅延のある局所同期と γ-遅延プロトコルを備えた分散ピアツーピアネットワークへ FedUCB を適用する。
• 累積統計の民間リリースのためのツリー型機構を実装する Privatizer サブルーチンを導入する。
• プライバシーパラメータ（ε, δ）を探索、通信、ネットワークトポロジーと関連づける後悔境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 中央集権型と分散型の両方の設定で機能する差分プライベートなフェデレーテッドアルゴリズムを文脈線形バンディットに設計するにはどうすればよいか。
• RQ2 マルチエージェントバンディット学習においてプライバシー制約が課せられたときの後悔保証（グループ疑似後悔）はどのようになるか。
• RQ3 フェデレーテッド文脈バンディットにおける通信はプライバシー予算と後悔にどのように関連するか。
• RQ4 ネットワークトポロジーと同期がプライバシー保護型フェデレーテッドバンディットの性能に与える影響は。
• RQ5 提案された FedUCB フレームワークは、プライバシー制約下で非プライベートなマルチエージェント文脈バンディットに匹敵するほぼ最適なレートを達成できるか。

主な発見

• 集中型 FedUCB は、ポリログファクタ以下の多項的に依存する T および M において非プライベート境界に匹敵する高確率のグループ疑似後悩境界を達成する。
• 分散型 FedUCB は遅延対応・トポロジ依存の境界を導入し、通信グラフの直径ベースの要因を含む。
• フレームワークはツリー型差分プライバシー機構に基づく Privatizer サブルーチンを通じて文脈と報酬のフェデレーテッドに対する明示的なプライバシー保証を提供する。
• 同期回数が少ないと後悔が増大し、より頻繁な同期は有用性を改善するというトレードオフが確立される。
• 分析はプライバシーバジェットを摂動設計のρ min, ρ max, κ によって後悔へ与える ε, δ の影響と結びつける。
• 通信複雑さの境界は同期回数を次元、 horizOn、プライバシーパラメータに関連づけ、実用的な展開の指針を提供する。