[논문 리뷰] Federated Linear Contextual Bandits

Ruiquan Huang, Weiqiang Wu외 2명|arXiv (Cornell University)|2021. 10. 27.

Advanced Bandit Algorithms Research참고 문헌 58인용 수 15

한 줄 요약

이 논문은 원시 데이터나 현지 특징을 공유하지 않고도 클라이언트가 공동으로 전역 파라미터를 학습할 수 있도록 허용하는 통신 효율적인 피어드-PE(Fed-PE)를 제안한다. 다중 클라이언트 G-최적 설계와 공선적 의존 정책을 활용하여, 분리된 파라미터 및 공유 파라미터 설정 모두에서 로그형 통신 비용으로 근사 최적의 손실을 달성한다.

ABSTRACT

This paper presents a novel federated linear contextual bandits model, where individual clients face different $K$-armed stochastic bandits coupled through common global parameters. By leveraging the geometric structure of the linear rewards, a collaborative algorithm called Fed-PE is proposed to cope with the heterogeneity across clients without exchanging local feature vectors or raw data. Fed-PE relies on a novel multi-client G-optimal design, and achieves near-optimal regrets for both disjoint and shared parameter cases with logarithmic communication costs. In addition, a new concept called collinearly-dependent policies is introduced, based on which a tight minimax regret lower bound for the disjoint parameter case is derived. Experiments demonstrate the effectiveness of the proposed algorithms on both synthetic and real-world datasets.

연구 동기 및 목표

• 각 클라이언트가 다른 K-팔의 스토하스틱 밴디트에 직면하는 피어드-멀티클라이언트 연속적 밴디트에서 데이터 이질성 문제를 해결한다.
• 현지 특징 벡터나 원시 데이터를 공유하지 않으면서도 학습 성능을 유지하는 통신 효율적인 알고리즘을 설계한다.
• 분리된 파라미터 및 공유 파라미터 설정 모두에서 로그형 통신 비용으로 근사 최적의 손실 성능을 달성한다.
• 공선적 의존 정책의 새로운 개념을 사용하여 분리된 파라미터 케이스에 대한 날카운 최소화 손실 하한을 확립한다.

제안 방법

• 클라이언트가 전역 파라미터의 국소 추정치만 공유함으로써 데이터 프라이버시를 보존하는 공동 작업 알고리즘인 Fed-PE를 제안한다.
• 추정 분산을 최소화하고 수렴을 향상시키기 위해 클라이언트 간 탐색을 조율하는 다중 클라이언트 G-최적 설계를 도입한다.
• 탐색과 이용의 효율적 균형을 이루기 위해 적응형 단계 길이를 갖는 단계 기반 탐색 전략을 활용한다.
• G-최적 설계 문제를 해결하기 위해 블록 좌표 상승(BCA) 알고리즘을 적용하여 각 단계에서 클라이언트의 참여를 희소하게 유지한다.
• 분리된 파라미터 케이스에 대한 날카운 최소화 손실 하한을 유도하기 위해 공선적 의존 정책의 새로운 개념을 활용한다.
• 각 클라이언트가 단계당 평균적으로 탐색하는 팔의 수를 정량화하는 데 사용되는 희소성 수준 지표를 도입하여 통신 비용과 연결한다.

실험 결과

연구 질문

• RQ1 피어드-선형 연속적 밴디트 프레임워크는 최소한의 통신으로 근사 최적의 손실을 달성하면서도 클라이언트 데이터 프라이버시를 보존할 수 있는가?
• RQ2 원시 데이터를 공유하지 않고도 협업 밴디트 환경에서 보상 분포의 클라이언트 이질성을 효과적으로 관리할 수 있는가?
• RQ3 분리된 파라미터 케이스에서 손실의 기본 한계는 무엇이며, 이를 날카럽게 특성화할 수 있는가?
• RQ4 단계 길이 선택 방식의 선택이 피어드 밴디트에서 손실과 통신 비용 간의 트레이드오���에 어떤 영향을 미치는가?
• RQ5 희소 탐색 전략은 피어드 밴디트에서 클라이언트 당 통신 오버헤드를 어느 정도 줄일 수 있는가?

주요 결과

• Fed-PE는 분리된 파라미터 및 공유 파라미터 케이스 모두에서 로그형 통신 비용으로 근사 최적의 손실을 달성하여 대역폭 사용을 크게 줄였다.
• 추정 분산을 감소시키는 새로운 G-최적 설계 덕분에 이전 연구 대비 √K 배 향상된 손실 경계를 달성하였다.
• 희소성 수준에 의해 나타나듯이, 각 클라이언트가 단계당 평균적으로 약 2개의 팔만 탐색함으로써 알고리즘이 낮은 클라이언트 당 통신 비용을 유지한다.
• 실험 결과, 균일한 단계 길이 선택이 가장 낮은 손실을 제공하는 반면, 지수적 선택은 손실과 통신 비용 간 최적의 트레이드오픈을 제공한다.
• 공선적 의존 정책의 개념을 사용하여 분리된 파라미터 케이스에 대한 최소화 손실 하한을 날카롭게 유도하였으며, 이는 이론적 최적성의 확인을 가능하게 하였다.
• BCA 알고리즘의 반복 횟수는 클라이언트 수 M과 반비례하므로, 클라이언트 수 증가에 따라 확장 가능함을 나타낸다.