[논문 리뷰] Federated Multi-Armed Bandits Under Byzantine Attacks

Saday, Artun, İlker Demirel외 2명|arXiv (Cornell University)|2022. 05. 09.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 최대 절반의 클라이언트 풀에서 발생하는 바르티지안 공격에 저항할 수 있는 강건한 분산 다항보상 밴딧 알고리즘인 Fed-MoM-UCB를 제안한다. 통신 비용과 악성 업데이트가 존재하는 상황에서도, 피하기 어려운 오차 한계를 고려할 때 누적 누적 손실이 O(log T)로 제한되며, 악성 클라이언트가 존재하는 탈중앙화된 비독립 동일 분포 환경에서도 신뢰할 수 있는 학습을 보장한다.

ABSTRACT

Multi-armed bandits (MAB) is a sequential decision-making model in which the learner controls the trade-off between exploration and exploitation to maximize its cumulative reward. Federated multi-armed bandits (FMAB) is an emerging framework where a cohort of learners with heterogeneous local models play an MAB game and communicate their aggregated feedback to a server to learn a globally optimal arm. Two key hurdles in FMAB are communication-efficient learning and resilience to adversarial attacks. To address these issues, we study the FMAB problem in the presence of Byzantine clients who can send false model updates threatening the learning process. We analyze the sample complexity and the regret of $β$-optimal arm identification. We borrow tools from robust statistics and propose a median-of-means (MoM)-based online algorithm, Fed-MoM-UCB, to cope with Byzantine clients. In particular, we show that if the Byzantine clients constitute less than half of the cohort, the cumulative regret with respect to $β$-optimal arms is bounded over time with high probability, showcasing both communication efficiency and Byzantine resilience. We analyze the interplay between the algorithm parameters, a discernibility margin, regret, communication cost, and the arms' suboptimality gaps. We demonstrate Fed-MoM-UCB's effectiveness against the baselines in the presence of Byzantine attacks via experiments.

연구 동기 및 목표

• 바르티지안 클라이언트 공격 상황에서 클라이언트가 손상된 모델 업데이트를 전송하는 분산 다항보상 밴딧(FMAB) 프레임워크를 수식적으로 정의하는 것.
• 최대 절반의 클라이언트가 악성일 경우에도 성능을 유지할 수 있는 강건한 학습 알고리즘을 개발하는 것.
• 통신 비용, 손실, 알고리즘 파라미터, 클라이언트 샘플링으로 인한 피하기 어려운 오차 한계 사이의 상호 상충 관계를 분석하는 것.
• 다양한 공격 조건 하에서 기준선 방법인 Fed2-UCB에 비해 제안된 방법의 우수성을 입증하는 것.

제안 방법

• 논문은 다항보상 밴딧 알고리즘의 스타일을 따르는 Fed-MoM-UCB를 도입하며, 클라이언트 업데이트를 집계하는 데 중앙값의 평균(MoM) 추정기를 사용하여 바르티지안 클라이언트에 대한 강건성을 향상시킨다.
• 클라이언트 업데이트는 상호 배타적인 부분집합으로 그룹화되며, 그룹 평균의 중앙값을 계산하여 전역 암 품질을 추정함으로써 악성 이상치의 영향을 최소화한다.
• MoM 추정기의 분산과 피하기 어려운 오차 한계를 고려한 고확률 농도 부등식을 사용하여 암 보상의 신뢰 구간을 유지한다.
• 통신 비용과 손실의 균형을 맞추기 위해, 모든 β-최적 이하의 암을 제거하거나 E_p ≤ β/4가 되도록 신뢰 구간을 축소하는 조건에 따라 종료 조건을 정의한다.
• 알고리즘은 클라이언트 그룹 수와 필수 클라이언트 수 M을 결정하기 위한 매핑 함수 α(λ)를 통합하며, 성능 상충 관계를 분석하기 위해 기하, 조화, 다항 매핑을 분석한다.
• 이론적 분석을 통해 하한선에 따라 하한선에 의존하는 O(log T)의 손실 상한선을 도출한다. 이는 하위최적성 갭, 피하기 어려운 오차 한계 ω, 통신과 손실을 스케일링하는 상수에 따라 달라진다.

실험 결과

연구 질문

• RQ1 최대 절반의 클라이언트가 바르티지안이면서 임의의 악성 업데이트를 전송하는 상황에서 분산 다항보상 밴딧 시스템이 낮은 손실을 유지할 수 있는가?
• RQ2 바르티지안 클라이언트 존재 시 성능의 기본 한계는 무엇이며, 클라이언트 샘플링으로 인한 피하기 어려운 오차 한계와의 관계는 어떠한가?
• RQ3 클라이언트 그룹 수와 매핑 함수 α(λ)와 같은 알고리즘 파라미터는 통신 비용, 손실, 강건성 사이의 상충 관계에 어떻게 영향을 미치는가?
• RQ4 Fed-MoM-UCB는 다양한 바르티지안 클라이언트 비율과 공격 방식 하에서 Fed2-UCB와 비교해 얼마나 뛰어난 성능을 보이는가?

주요 결과

• Fed-MoM-UCB는 최대 절반의 클라이언트가 바르티지안일 경우에도, 피하기 어려운 오차 한계 ω를 기준으로 O(log T)의 누적 손실 상한선을 달성한다.
• 피하기 어려운 오차 한계 ω는 MoM 추정기에서 클라이언트 그룹의 크기가 감소하지 않는 데 기인하며, 클라이언트 수를 늘려도 제거할 수 없다.
• λ = 0.25(25%의 바르티지안 클라이언트)일 경우 Fed2-UCB는 전역적으로 최적의 암을 식별하지 못하고 선형 손실을 입지만, Fed-MoM-UCB는 모든 β-최적 이하의 암을 성공적으로 제거한다.
• 기하 매핑 α(λ)는 M = 123명의 클라이언트에서 최고의 성능을 보이며, 다항 매핑은 M = 362명이 필요하여 매핑 방식의 선택이 통신 효율성에 상당한 영향을 미친다.
• 통신 비용을 고려하지 않은 상황에서도 λ = 0.2일 때 Fed-MoM-UCB는 Fed2-UCB보다 더 높은 손실을 입지만, 이는 더 긴 종료 시간 때문이며, 높은 공격 비율 하에서도 강건성으로 인해 상쇄된다.
• 활성 암 집합이 {10}으로 줄어들거나 E_p ≤ β/4가 되면 알고리즘이 종료되고 통신이 중단되며, 이는 통신 비용 통제를 보장한다.