[논문 리뷰] Federated Multi-Armed Bandits

Chengshuai Shi, Cong Shen|arXiv (Cornell University)|2021. 01. 28.

Advanced Bandit Algorithms Research참고 문헌 43인용 수 6

한 줄 요약

이 논문은 비정규 분포의 클라이언트 데이터로부터 프라이버시를 보장하고 통신 효율적인 글로벌 모델 학습을 가능하게 하는, 페더레이티드 러닝 원칙을 확장한 새로운 프레임워크인 페더럴 멀티어머드 밴딧(FedMAB)을 소개한다. 이는 O(log T)의 리그레트를 달성하면서도 명시적인 통신 비용 제어를 수행하는 이중-UCB 알고리즘인 Fed2-UCB와 정확한 모델을 위한 Fed1-UCB를 제안한다. Fed1-UCB는 적절한 업데이트 주기로 인해 클라이언트 수에 관계없이 순서 최적의 리그레트를 달성한다.

ABSTRACT

Federated multi-armed bandits (FMAB) is a new bandit paradigm that parallels the federated learning (FL) framework in supervised learning. It is inspired by practical applications in cognitive radio and recommender systems, and enjoys features that are analogous to FL. This paper proposes a general framework of FMAB and then studies two specific federated bandit models. We first study the approximate model where the heterogeneous local models are random realizations of the global model from an unknown distribution. This model introduces a new uncertainty of client sampling, as the global model may not be reliably learned even if the finite local models are perfectly known. Furthermore, this uncertainty cannot be quantified a priori without knowledge of the suboptimality gap. We solve the approximate model by proposing Federated Double UCB (Fed2-UCB), which constructs a novel "double UCB" principle accounting for uncertainties from both arm and client sampling. We show that gradually admitting new clients is critical in achieving an O(log(T)) regret while explicitly considering the communication cost. The exact model, where the global bandit model is the exact average of heterogeneous local models, is then studied as a special case. We show that, somewhat surprisingly, the order-optimal regret can be achieved independent of the number of clients with a careful choice of the update periodicity. Experiments using both synthetic and real-world datasets corroborate the theoretical analysis and demonstrate the effectiveness and efficiency of the proposed algorithms.

연구 동기 및 목표

• 프라이버시에 민감한 분산 환경에서 페더럴 러닝 원칙을 밴딧 문제에 확장할 수 있는 일반적인 프레임워크를 개발하는 것.
• 로컬 모델이 알려지지 않은 최적성 격차를 가진 글로벌 모델의 랜덤 실현임을 고려할 때 발생하는 클라이언트 샘플링 불확실성이라는 새로운 과제를 다루는 것.
• 한정된 통신 자원 하에서 리그레트를 최소화하면서도 암호화된 탐색과 클라이언트 탐색을 균형 잡는 통신 효율적인 알고리즘을 설계하는 것.
• FMAB 모델의 이론적 리그레트 한계를 분석하여, 특히 정확한 모델의 경우 클라이언트 수에 관계없이 순서 최적의 리그레트를 달성할 수 있음을 보여주는 것.
• 합성 및 실세계 데이터셋을 활용한 실험을 통해 제안된 알고리즘의 효과성과 효율성을 검증하는 것.

제안 방법

• 비정규 분포의 로컬 모델들에서 유도된 이질적인 클라이언트들 간의 분산 환경에서 글로벌 밴딧 모델을 학습하는 일반적인 FMAB 프레임워크를 제안하며, 데이터 프라이버시를 유지하고 통신을 최소화한다.
• 서브옵티멀리티 갭에 대한 사전 지식이 없더라도 암호화된 암호화 탐색과 클라이언트 샘플링 불확실성을 동시에 고려하는 새로운 '이중 UCB' 원리를 기반으로 한 Fed2-UCB 알고리즘을 도입한다.
• 탐색과 통신 비용을 균형 잡기 위해 점진적인 클라이언트 수용 전략을 적용하여, 명시적인 통신 오버헤드 고려 하에 O(log T) 리그레트를 유지한다.
• 표준 MAB에 비해 추가적인 통신 손실 항목을 포함한 근사 최적 성능을 보여주는 이론적 리그레트 한계를 유도한다.
• 글로벌 모델이 로컬 모델의 정확한 평균임을 가정하는 정확한 모델 사례에 대해 Fed2-UCB를 특수화하여 Fed1-UCB를 도입하며, 최적의 업데이트 주기로 클라이언트 수에 관계없이 순서 최적의 리그레트를 달성한다.
• 신뢰구간 기반 동적 클라이언트 통합 전략을 활용하여, 비정규 분포 데이터와 알려지지 않은 글로벌 모델 구조에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 비정규 분포의 클라이언트 수 천 개 이상에서 효율적이고 프라이버시를 보장하는 글로벌 멀티어머드 밴딧 모델을 어떻게 학습할 수 있는가?
• RQ2 서브옵티멀리티 갭이 알려지지 않은 경우, 클라이언트 샘플링 불확실성이 페더럴 밴딧 환경에서 리그레트에 어떤 영향을 미치는가?
• RQ3 페더럴 밴딧 프레임워크에서 탐색과 통신 비용을 명시적으로 균형 잡는 것이 O(log T) 리그레트를 달성할 수 있는가?
• RQ4 정확한 FMAB 모델에서 클라이언트 수에 관계없이 순서 최적의 리그레트를 달성하는 것은 가능한가?
• RQ5 실세계 및 합성 데이터셋에서 프라이버시 및 통신 제약 조건 하에서 제안된 알고리즘이 실제로 어떻게 작동하는가?

주요 결과

• Fed2-UCB는 명시적인 통신 비용 제어를 통해 O(log T) 리그레트를 달성하며, 표준 스토하스틱 MAB의 하한에 가까운 성능을 보이며, 암호화된 암호화 탐색과 클라이언트 샘플링 불확실성을 모두 고려한다.
• 제안된 Fed2-UCB 알고리즘은 이중 UCB 원리를 활용하여 알려지지 않은 서브옵티멀리티 갭 문제를 효과적으로 해결하며, 암호화된 암호화 탐색과 클라이언트 탐색의 균형을 맞춘다.
• 점진적 클라이언트 수용 전략은 근사 FMAB 모델에서 O(log T) 리그레트 유지를 위해 필수적이며, 통신 오버헤드를 최소화한다.
• 정확한 FMAB 모델에서 Fed1-UCB는 최적의 업데이트 주기 선택을 통해 클라이언트 수에 관계없이 순서 최적의 리그레트를 달성한다.
• 합성 및 실세계 데이터셋에 대한 실험 결과 이론적 분석를 확인하였으며, Fed2-UCB와 Fed1-UCB가 수렴 속도와 통신 효율성에서 베이스라인보다 뛰어나다는 것을 입증하였다.
• 결과는 통신 비용과 클라이언트 샘플링 전략이 성능에 상당한 영향을 미치며, 적절한 주기로 설정할 경우 수백만 명의 클라이언트 환경에서도 확장 가능하고 효율적인 학습이 가능하다는 것을 시사한다.