[논문 리뷰] Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits

Chuanhao Li, Hongning Wang|arXiv (Cornell University)|2021. 10. 04.

Advanced Bandit Algorithms Research참고 문헌 2인용 수 4

한 줄 요약

이 논문은 이방향성 상위 신뢰도 기반(Upper Confidence Bound, UCB) 알고리즘을 제안하여 이종 클라이언트 간에 전역 동기화 없이도 효율적이고 통신 최적화된 학습을 가능하게 한다. 모델 변화가 중요해질 때만 업데이트를 트리거함으로써 통신 비용을 줄이고 낮은 누적 손실을 유지하며, 실증 결과는 활성 사용자로부터 선택적 데이터 공유를 통해 성능 향상을 보여준다.

ABSTRACT

Linear contextual bandit is a popular online learning problem. It has been mostly studied in centralized learning settings. With the surging demand of large-scale decentralized model learning, e.g., federated learning, how to retain regret minimization while reducing communication cost becomes an open challenge. In this paper, we study linear contextual bandit in a federated learning setting. We propose a general framework with asynchronous model update and communication for a collection of homogeneous clients and heterogeneous clients, respectively. Rigorous theoretical analysis is provided about the regret and communication cost under this distributed learning framework; and extensive empirical evaluations demonstrate the effectiveness of our solution.

연구 동기 및 목표

• 분산형 대규모 학습 환경에서 전역 동기화 없이도 손실을 최소화하면서 통신 오버헤드를 줄이는 데 도전하는 것.
• 전역 동기화를 피하는 강력한 이방향 통신 프레임워크를 설계하여 클라이언트의 지연 및 가용성 문제에 대한 내성을 향상시키는 것.
• 보내는 클라이언트가 서로 다른 보상 함수와 데이터 분포를 가질 수 있는 동일한 학습 프레임워크 내에서 동종 및 이종 클라이언트를 모두 지원하는 것.
• 다양한 클라이언트 활동 수준과 데이터 이종성 조건 하에서 제안된 알고리즘의 손실과 통신 비용에 대한 이론적 분석 및 실증적 검증을 수행하는 것.

제안 방법

• 클라이언트가 국소 모델이 글로벌 모델에 비해 충분히 오래되었을 때만 서버에 업데이트를 전송하는 이벤트 기반 이방향 통신 메커니즘을 제안한다.
• 통신으로 인한 손실 감소 잠재력에 기반해, 클라이언트의 국소 업데이트가 전송되는 데 유의미한지를 판단하는 임계값 기반 조건(γ로 매개변수화)을 도입한다.
• 동종 클라이언트(공통 보상 함수 공유)와 이종 클라이언트(다중 작업 학습 설정에서 공통 글로벌 파라미터 공유)를 대상으로 하는 두 가지 알고리즘 변형을 개발한다.
• 각 클라이언트가 국소 예측치 기반으로 기대 보상을 선택하는 선형 문맥적 밴디트 프레임워크와 상위 신뢰도 기반(UCB) 탐색을 활용한다.
• PCA를 활용해 사용자 임베딩을 시각화하고, 데이터 이종성의 영향을 분석하며, 집계된 데이터에서 발생하는 편향과 분산의 상호 보완적 관계를 탐색한다.
• 이론적 분석을 통해 누적 손실과 통신 비용에 대한 상한선을 유도하며, IID 및 비IIDs 데이터 가정 하에서의 효율성과 수렴성을 입증한다.

실험 결과

연구 질문

• RQ1 전역 동기화에 의존하지 않고도 이방향 선형 밴디트에서 통신 비용을 어떻게 줄일 수 있는가?
• RQ2 클라이언트의 국소 모델 업데이트가 손실 감소에 의미 있는 기여를 하는 조건은 무엇인가?
• RQ3 특히 덜 활성화된 클라이언트에서 비롯된 데이터 이종성은 이방향 연합 밴디트 학습에서 글로벌 모델 성능에 어떤 영향을 미치는가?
• RQ4 통신 횟수를 줄였음에도 불구하고, 매우 활성화된 사용자로부터 선택적 데이터 공유가 전체 성능 향상에 기여할 수 있는가?
• RQ5 이방향 연합 밴디트 학습 맥락에서 비IIDs 데이터로 인한 편향과 제한된 데이터로 인한 분산 사이의 상호 보완적 관계는 무엇인가?

주요 결과

• 통신 임계값 γ가 높을수록(예: ∞), 전역 업데이트에 기여하는 것은 가장 활성화된 사용자들 뿐이며, 이 경우 통신 횟수 14,230회에서 누적 보상은 1.6891에 도달한다.
• γ가 낮아지면서 더 많은 클라이언트가 통신에 참여함(예: γ = 3)에 따라 통신 횟수 14,230회에서 누적 보상은 1.8348로 증가하여 선택적 데이터 공유로 인한 성능 향상을 확인한다.
• 그러나 통신 횟수가 더 증가하면(예: γ = 3, C_T = 54,006), 덜 활성화된 그룹의 누적 보상은 22에서 11로 크게 감소하여, 과도한 데이터 집계가 높은 이종성으로 인해 성능 저하를 초래함을 시사한다.
• 사용자 임베딩의 시각화 결과, 매우 활성화된 사용자(80–100)는 특성 공간에서 중심에 위치해 있는 반면, 덜 활성화된 사용자들은 수직 방향으로 산재해 있어, 그들의 데이터가 집계될 경우 모델 성능 저하를 설명한다.
• 결과적으로 활성 사용자로부터의 데이터는 모든 그룹에서 성능 향상을 이끌지만, 이종적이고 덜 활성화된 사용자로부터의 데이터 집계는 편향을 증가시키고 전체 효과를 감소시킴을 확인한다.
• 이방향 프레임워크는 특히 클라이언트 가용성의 변동성과 데이터 희소성 존재하는 환경에서 동기식 대비 더 낮은 통신 비용과 더 나은 손실 성능을 달성한다.