[논문 리뷰] Federated Multi-armed Bandits with Personalization

Chengshuai Shi, Cong Shen외 1명|arXiv (Cornell University)|2021. 02. 25.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 15

한 줄 요약

이 논문은 개인화된 프라이버시 보장 및 탈중앙화 환경에서 글로벌 및 로컬 학습 목표를 공동으로 최적화하는 새로운 페더레이티드 멀티어름드 밴딧(PF-MAB) 프레임워크를 제안한다. 개인화된 페더레이티드 상한 신뢰도 알고리즘(PF-UCB)을 도입하여 글로벌 및 로컬 모델의 탐색을 동적으로 균형 잡으며, 개인화 수준에 관계없이 항상 O(log T)의 리그레트를 달성하고, 인스턴스에 의존하는 성능의 이론적 하한선과 일치시킨다.

ABSTRACT

A general framework of personalized federated multi-armed bandits (PF-MAB) is proposed, which is a new bandit paradigm analogous to the federated learning (FL) framework in supervised learning and enjoys the features of FL with personalization. Under the PF-MAB framework, a mixed bandit learning problem that flexibly balances generalization and personalization is studied. A lower bound analysis for the mixed model is presented. We then propose the Personalized Federated Upper Confidence Bound (PF-UCB) algorithm, where the exploration length is chosen carefully to achieve the desired balance of learning the local model and supplying global information for the mixed learning objective. Theoretical analysis proves that PF-UCB achieves an $O(\log(T))$ regret regardless of the degree of personalization, and has a similar instance dependency as the lower bound. Experiments using both synthetic and real-world datasets corroborate the theoretical analysis and demonstrate the effectiveness of the proposed algorithm.

연구 동기 및 목표

• 프라이버시 제약 하에서 글로벌 일반화와 로컬 개인화를 균형 잡는 문제를 해결하기 위해.
• 페더레이티드 학습 원칙을 개인화된 모델 목표를 가진 밴딧 설정으로 확장하는 체계적인 프레임워크를 개발하기 위해.
• 다양한 클라이언트 데이터 분포에서 강력한 리그레트 성능을 확보하면서도 낮은 통신 비용을 유지하는 알고리즘을 설계하기 위해.
• 글로벌 및 로컬 탐색 간의 기본적인 상충 관계를 이론적으로 분석하고, 혼합 학습 목표에 대한 하한선을 유도하기 위해.

제안 방법

• 응용 분야의 특성에 맞게 글로벌 및 로컬 모델 성능 간의 매끄러운 균형을 이루는 혼합 학습 목표를 제안한다.
• 단계 기반 탐색을 사용하는 PF-UCB 알고리즘을 설계하며, 파라미터 α를 통해 글로벌 및 로컬 모델의 탐색 길이를 동적으로 조정한다.
• 두 단계 통신 메커니즘을 사용하여 각 단계의 시작 시 클라이언트들이 액션 통계와 활성 집합을 교환함으로써 조율을 유지한다.
• 신뢰 구간과 지수 尾부 경계를 활용하여 탐색을 제어하고 고확률 리그레트 보장을 보장한다.
• 클라이언트 이질성과 비균일 수렴을 처리하기 위해 탐색-이용 상충 관계에 기반한 동기화 메커니즘을 도입한다.
• 사건 기반 분석을 사용하여 이론적 리그레트 한계를 도출하며, 안정성과 수렴을 보장하기 위해 고확률 사건 G에 조건을 붙인다.

실험 결과

연구 질문

• RQ1 개인화된 페더레이티드 밴딧에서 글로벌 및 로컬 탐색 간의 기본 상충 관계는 무엇이며, 어떻게 정량화할 수 있는가?
• RQ2 페더레이티드 밴딧 알고리즘이 이질적인 클라이언트들 사이에서 개인화와 일반화를 균형 잡고 O(log T) 리그레트를 달성할 수 있는가?
• RQ3 제한된 피드백과 프라이버시 제약이 있는 동적이고 탈중앙화된 밴딧 환경에서 통신 효율성을 어떻게 유지할 수 있는가?
• RQ4 페더레이티드 밴딧에서 제안된 혼합 글로벌-로컬 학습 목표에 대한 인스턴스에 의존하는 리그레트 하한선은 무엇인가?
• RQ5 클라이언트 이질성이 페더레이티드 밴딧 학습에서 동기화와 수렴에 미치는 영향는 무엇이며, 어떻게 이를 완화할 수 있는가?

주요 결과

• PF-UCB 알고리즘은 개인화 수준에 관계없이 항상 O(log T) 리그레트를 달성하여 다양한 개인화 수준에서의 강건성을 입증한다.
• PF-UCB의 리그레트는 유도된 하한선의 인스턴스에 의존하는 스케일링과 정확히 일치하며, 문제의 특정 난이도에 대한 이론적 최적성을 시사한다.
• 통신 비용이 크게 감소하였으며, α=0.5 조건에서 10^6 단계 동안 총 72회의 통신만을 요구하여 실용적 효율성이 뛰어나다.
• 극한의 클라이언트 이질성 조건에서도 안정된 성능을 유지하며, M=40명의 클라이언트와 K=4개의 액션을 가진 환경에서도 스케일러빌리티를 확인한다.
• f(p) = 2^p log(T)의 선택이 가장 효율적인 통신 스케일링을 이끌어내며, f(p) = 10 log(T) 및 f(p) = log(T)보다 장기적인 수렴에서 뛰어난 성능을 보인다.
• 합성 및 실세계 MovieLens 데이터에 대한 실험 결과는 PF-UCB가 통신 오버헤드를 최소화하면서도 글로벌 및 로컬 성능을 효과적으로 균형 잡는다는 것을 확인한다.