[論文レビュー] Federated Multi-Armed Bandits Under Byzantine Attacks

Saday, Artun, İlker Demirel+2 more|arXiv (Cornell University)|May 9, 2022

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿では、最大半数のクライアントプールから発生するByzantine攻撃に耐性を持つ、ロバストなフェデレーテッド・マルチアームバンディットアルゴリズムであるFed-MoM-UCBを提案する。通信コストと悪意のある更新が存在する状況下でも、避けられない誤差マージンを考慮したO(log T)の累積的後悔境界を達成し、悪意あるクライントが存在する分散型で非IIDな環境においても信頼性の高い学習を保証する。

ABSTRACT

Multi-armed bandits (MAB) is a sequential decision-making model in which the learner controls the trade-off between exploration and exploitation to maximize its cumulative reward. Federated multi-armed bandits (FMAB) is an emerging framework where a cohort of learners with heterogeneous local models play an MAB game and communicate their aggregated feedback to a server to learn a globally optimal arm. Two key hurdles in FMAB are communication-efficient learning and resilience to adversarial attacks. To address these issues, we study the FMAB problem in the presence of Byzantine clients who can send false model updates threatening the learning process. We analyze the sample complexity and the regret of $β$-optimal arm identification. We borrow tools from robust statistics and propose a median-of-means (MoM)-based online algorithm, Fed-MoM-UCB, to cope with Byzantine clients. In particular, we show that if the Byzantine clients constitute less than half of the cohort, the cumulative regret with respect to $β$-optimal arms is bounded over time with high probability, showcasing both communication efficiency and Byzantine resilience. We analyze the interplay between the algorithm parameters, a discernibility margin, regret, communication cost, and the arms' suboptimality gaps. We demonstrate Fed-MoM-UCB's effectiveness against the baselines in the presence of Byzantine attacks via experiments.

研究の動機と目的

• Byzantineクライアントによる攻撃が発生する状況下でのフェデレーテッド・マルチアームバンディット（FMAB）フレームワークを形式化すること。この状況では、クライアントが改ざんされたモデル更新を送信する。
• 最大半数のクライアントが悪意ある状況下でも性能を維持できるロバストな学習アルゴリズムを開発すること。
• 通信コスト、後悔、アルゴリズムパラメータ、およびクライアントサンプリングに起因する避けられない誤差マージンの間のトレードオフを分析すること。
• 攻撃条件が変化する状況下で、Fed2-UCBなどのベースライン手法と比較して提案手法が優れていることを実証すること。

提案手法

• 本稿では、クライアント更新の集約にmedian-of-means（MoM）推定器を用いるUCBスタイルのアルゴリズム、Fed-MoM-UCBを導入する。これにより、Byzantineクライアントに対する耐性が向上する。
• クライアント更新を互いに素なグループに分割し、グループ平均の中央値を計算することで、グローバルなアームの質を推定する。これにより、悪意ある外れ値の影響が最小限に抑えられる。
• MoM推定器の分散と避けられない誤差マージンを考慮した高確率集中不等式を用いて、アーム報酬の信頼区間を維持する。
• 通信コストと後悔のバランスを取るために、すべてのβ-非最適アームを除外するか、E_p ≤ β/4 となるまでに信頼区間を縮小することで、終了条件を定義する。
• アルゴリズムは、グループ数と必要なクライアント数Mを決定するための写像関数α(λ)を組み込む。幾何的、調和的、多項式的写像の3種類を分析し、性能上のトレードオフを評価する。
• 理論的分析により、後悔の上界がO(log T)であることを導出。この上界は、非最適性ギャップ、避けられない誤差マージンω、および通信と後悔をスケーリングする定数に依存する。

実験結果

リサーチクエスチョン

• RQ1 最大半数のクライアントがByzantineであり、任意の悪意ある更新を送信する状況下でも、フェデレーテッド・マルチアームバンディットシステムが低後悔を維持できるか？
• RQ2 Byzantineクライアントが存在する状況下での性能の根本的限界は何か？また、クライアントサンプリングに起因する避けられない誤差マージンとどのように関係するか？
• RQ3 グループ数や写像関数α(λ)といったアルゴリズムパラメータは、通信コスト、後悔、耐性の間のトレードオフにどのように影響するか？
• RQ4 攻撃者の割合や攻撃方式が変化する状況下で、Fed-MoM-UCBはFed2-UCBなどの既存ベースライン手法をどの程度上回るか？

主な発見

• Fed-MoM-UCBは、最大半数のクライアントがByzantineであっても、避けられない誤差マージンωを考慮したO(log T)の累積的後悔上界を達成する。
• 避けられない誤差マージンωは、MoM推定器におけるクライアントグループのサイズが非増加的であることに起因し、クライアント数を増やしても除去できない。
• λ = 0.25（25％のByzantineクライアント）の場合、Fed2-UCBは最適アームを特定できず、線形後悔を被るが、Fed-MoM-UCBはすべてのβ-非最適アームを正常に除外する。
• α(λ)の幾何的写像が最良のパフォーマンスを示し、M = 123のクライアントで達成されるが、多項式的写像ではM = 362を要する。これは、写像選択が通信効率に顕著な影響を及ぼすことを示している。
• 通信コストを無視しても、λ = 0.2の時点でFed-MoM-UCBはFed2-UCBより高い後悔を被るが、これは終了までの時間が長いことに起因する。しかし、攻撃率が高い状況下ではその欠点が耐性の高さによって相殺される。
• アクティブなアーム集合が{10}に減少するか、E_p ≤ β/4 となると、アルゴリズムは終了し通信を停止する。これにより通信コストの制御が保証される。