[논문 리뷰] Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication

Yuanhao Wang, Jiachen Hu외 2명|arXiv (Cornell University)|2019. 04. 12.

Advanced Bandit Algorithms Research인용 수 26

한 줄 요약

이 논문은 통신 비용을 최소화하면서 근사 최적의 누적 손실을 달성하는 통신 효율적인 분산 다항 보상 및 선형 보상 알고리즘인 DEMAB와 DELB를 제안한다. 주기적 압축 통신과 적응형 제거 기법을 통해 다항 보상의 경우 통신 비용을 O(M log(MK))로, 선형 보상의 경우 Õ(Md)로 줄였으며, 이는 시간 범위 T에 대해 로그적 의존도를 가지며, 단일 에이전트의 최적 성능에 근접한 누적 손실을 유지한다.

ABSTRACT

We study the problem of regret minimization for distributed bandits learning, in which $M$ agents work collaboratively to minimize their total regret under the coordination of a central server. Our goal is to design communication protocols with near-optimal regret and little communication cost, which is measured by the total amount of transmitted data. For distributed multi-armed bandits, we propose a protocol with near-optimal regret and only $O(M\\log(MK))$ communication cost, where $K$ is the number of arms. The communication cost is independent of the time horizon $T$, has only logarithmic dependence on the number of arms, and matches the lower bound except for a logarithmic factor. For distributed $d$-dimensional linear bandits, we propose a protocol that achieves near-optimal regret and has communication cost of order $\ ilde{O}(Md)$, which has only logarithmic dependence on $T$.

연구 동기 및 목표

• 시간 범위 T에 선형적으로 의존하지 않는 통신 비용을 최소화하면서 분산 보상 학습에서 근사 최적의 누적 손실을 달성하는 데 도전한다.
• 에이전트 수 M과 암수 K에 대해 효율적으로 확장되며, 시간 범위 T에 선형 의존도가 없는 프로토콜을 설계한다.
• 센서 네트워크나 피어 투 피어 학습과 같은 대규모 또는 통신 제약 환경에서의 실용적 구현을 가능하게 한다.
• 중앙 집중식 서버 모델 하에서 다항 보상 및 선형 보상 설정 모두에서 근사 최적의 누적 손실을 달성하며, 피어 투 피어 네트워크로의 확장도 가능하다.

제안 방법

• 다양한 다항 보상에 대해 DEMAB를 제안하며, 이는 두 단계 접근법을 사용한다: 보일링 단계와 적응형 제거 단계.
• 제거 단계에서 에이전트들은 주기적으로 서버에 압축된 저비용 메시지를 사용해 집계 통계(예: 경험적 평균, 카운트)를 전송한다.
• 서버가 O(M)의 비용으로 각 단계에서 암 제거 결정을 브로드캐스트하고, 각 에이전트의 통계를 수집하는 통신 효율적인 집계 메커니즘을 도입한다.
• 선형 보상의 경우, 선형 회귀와 신뢰 타원체를 사용한 파라미터 추정을 통해 유사한 통신 구조를 갖춘 DELB를 설계한다.
• 서버-에이전트 및 에이전트-서버 통신 패턴을 사용하여 피어 투 피어 적응을 가능하게 하며, 중앙 집중식 브로드캐스트를 순차적 메시지 전달로 대체한다.
• 통계 집중성과 비최적 암 제거를 활용하여 통신 비용에서 K와 T에 대해 로그적 의존도를 확보한다.

실험 결과

연구 질문

• RQ1 분산 보상 학습에서 시간 범위 T에 독립적인 통신 비용으로 근사 최적의 누적 손실을 달성할 수 있는가?
• RQ2 다중 에이전트 환경에서 중심 집중식 보상 학습과 유사한 누적 손실을 유지하기 위해 필요한 최소 통신 비용은 얼마인가?
• RQ3 다항 보상 및 선형 보상 문제에서 학습 효율성을 유지하면서 데이터 전송을 최소화할 수 있는 통신 구조는 어떻게 설계할 수 있는가?
• RQ4 제안된 프로토콜은 중앙 서버 없이 피어 투 피어 네트워크에 어떻게 적응시킬 수 있으며, 어떤 성능 상충가능성이 발생하는가?
• RQ5 통신 비용이 에이전트 수 M, 암 수 K, 차원 d에 대해 어떻게 증가하는가?

주요 결과

• DEMAB는 통신 비용 O(M log(MK))로 O(√(MKT log T) + M² log(MK))의 누적 손실을 달성하며, 이는 T에 독립적이며 근사 최적이다.
• 분산 선형 보상의 경우, DELB는 O(d√(MT log T) + M² log T)의 누적 손실과 Õ(Md + d log log d) log T의 통신 비용을 기록하며, T에 대해 오직 로그적 의존도를 가진다.
• T > M³ log M일 경우, 두 프로토콜의 누적 손실은 渐近적으로 근사 최적이며, 단일 에이전트의 누적 손실 기준으로 로그 인자만을 초과한다.
• DEMAB의 통신 비용은 알려진 분산 다항 보상의 하한선과 일치하므로, 로그 인자 외에는 최적이다.
• 중앙 집중식 통신을 순차적 메시지 전달로 대체함으로써 피어 투 피어 네트워크로의 확장이 가능하며, T가 클 경우 추가로 O(M²)의 누적 손실만 증가한다.
• 장기간의 시간 범위 동안에도 통신 비용이 낮게 유지되어, 근사 최적의 성능을 위해 자주 데이터를 공유할 필요가 없음을 입증한다.