[논문 리뷰] An Optimal Algorithm for Multiplayer Multi-Armed Bandits

Alexandre Proutière, Po-An Wang|arXiv (Cornell University)|2019. 09. 28.

Advanced Bandit Algorithms Research참고 문헌 7인용 수 4

한 줄 요약

이 논문은 다수의 플레이어가 동시에 행동하는 다수의 손잡이 밴딧(MMAB) 문제를 해결하기 위해 DPE(분산형 간결한 탐색)라는 새로운 분산 알고리즘을 제안한다. 이 알고리즘은 중심화된 최적 알고리즘과 동일한 점 渐진적 최소 손실을 달성한다. 단일 리더가 탐색을 수행하고, 다른 플레이어들은 최고의 경험적 손잡이를 선택함으로써, 충돌을 최소한의 통신 수 Mittel로만 사용함으로써, 유한한 기대 통신 라운드 수를 보장하고 기존의 SIC-MMAB와 같은 방법보다 뛰어난 손실 보장을 달성한다.

ABSTRACT

The paper addresses the Multiplayer Multi-Armed Bandit (MMAB) problem, where $M$ decision makers or players collaborate to maximize their cumulative reward. When several players select the same arm, a collision occurs and no reward is collected on this arm. Players involved in a collision are informed about this collision. We present DPE (Decentralized Parsimonious Exploration), a decentralized algorithm that achieves the same regret as that obtained by an optimal centralized algorithm. Our algorithm has better regret guarantees than the state-of-the-art algorithm SIC-MMAB \cite{boursier2019}. As in SIC-MMAB, players communicate through collisions only. An additional important advantage of DPE is that it requires very little communication. Specifically, the expected number of rounds where players use collisions to communicate is finite.

연구 동기 및 목표

• 충돌이 보상 수확을 방해하는 다수의 플레이어가 동시에 행동하는 다수의 손잡이 밴딧 문제에서의 분산 조율 문제를 해결하기 위해.
• 중앙 집중형 알고리즘에서 알려진 기본적인 점 渐진적 손실 하한선을 달성하는 정책을 설계하기 위해.
• 필수적인 충돌 신호 외에는 정보 교환을 제한함으로써 통신 오버헤드를 최소화하기 위해.
• 플레이어 수 M이 에이전트들에게 알려져 있지 않은 경우에도 알고리즘이 효과적으로 작동하도록 보장하기 위해.
• SIC-MMAB와 같은 기존의 분산 알고리즘보다 손실과 통신 효율성 측면에서 뛰어나게 하기 위해.

제안 방법

• DPE는 한 명의 플레이어(리더)가 KL-UCB와 같은 색인 정책을 사용해 간결한 탐색을 수행하고, 나머지 플레이어(후속자)는 항상 M개의 최고의 경험적 손잡이를 선택하는 리더-후속자 아키텍처를 사용한다.
• 리더는 전용 통신 손잡이에서의 충돌을 통해 후속자들에게 최고의 경험적 손잡이 집합의 변화를 유일하게 통신한다.
• 초기화 단계는 사전 조율 없이 플레이어들에게 M개의 서로 다른 손잡이를 할당하기 위해 무작위 직교화 프로토콜을 사용하며, 기대 지속 시간이 유한하고 상수 수준의 손실을 기여한다.
• 알고리즘은 블록 기반 통신을 사용한다: 각 K+1라운드 블록은 플레이어들이 상태를 신호로 보낸 다음 손잡이 K에서의 충돌을 감지할 수 있도록 한다.
• 손실 분석은 비최적의 손잡이가 선택되는 라운드 수를 제한하는 데 기반하며, 농도 불등식과 KL 발산 기반의 경계를 사용한다.
• 이론적 분석을 통해 충돌을 통한 통신에서 발생하는 라운드 수의 기대값이 유한하고, 전체 손실이 중심화된 하한선과 일치함을 증명한다.

실험 결과

연구 질문

• RQ1 분산형 MMAB 알고리즘이 중심화된 최적 알고리즘과 동일한 점 渐진적 손실을 달성할 수 있는가?
• RQ2 효과적인 조율을 가능하게 하면서도 분산형 MMAB에서 통신을 최소화할 수 있는 방법은 무엇인가?
• RQ3 MMAB 환경에서 최적의 손실을 달성하기 위해 필요한 최소한의 통신은 얼마인가?
• RQ4 충돌 기반 신호 전달을 사용하는 리더-후속자 구조는 상세한 통계를 공유하지 않더라도 최적의 성능을 달성할 수 있는가?
• RQ5 오직 한 명의 플레이어만 탐색을 수행하는 간결한 탐색 전략이 더 나은 손실과 통신 효율성을 가져오는가?

주요 결과

• DPE는 Lai와 Robbins가 확립한 점 渐진적 손실 하한선을 달성하여, 중심화된 최적 알고리즘과 동일한 성능을 보인다.
• 플레이어들이 통신을 위해 충돌을 사용하는 라운드 수의 기대값은 유한하여, 최소한의 통신 오버헤드를 보장한다.
• DPE의 손실은 $ \limsup_{T\to\infty} \frac{R^\pi(T)}{\log T} \leq \sum_{k>M} \frac{\mu_M - \mu_k}{\textnormal{kl}(\mu_k, \mu_M)} $로 경계되며, 이는 기본적인 하한선과 정확히 일치한다.
• 초기화 단계는 기대 지속 시간이 유한하고 상수 수준의 손실을 기여하며, SIC-MMAB의 $ KM\log T $ 손실 비용과는 달리 영향을 최소화한다.
• DPE는 특히 $ \mu_M $와 $ \mu_k $ 사이의 격차가 작은 손잡이에 대해 SIC-MMAB보다 손실 보장 측면에서 뛰어나다. 이는 더 효율적인 탐색 덕분이다.
• 알고리즘은 후속자가 항상 M개의 최고의 경험적 손잡이를 선택하도록 보장하며, 리더는 필요할 때만 탐색을 수행함으로써 불필요한 탐색을 줄인다.