[논문 리뷰] A Practical Algorithm for Multiplayer Bandits when Arm Means Vary Among Players

Étienne Boursier, Emilie Kaufmann외 2명|arXiv (Cornell University)|2019. 02. 04.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 31

한 줄 요약

이 논문은 플레이어가 각각 다른 예상 보상 값을 가지며 상호 통신이 불가능한 이질적 다중 플레이어 다각대 문제를 위한 실용적인 알고리즘인 M-ETC-Elim을 제안한다. 이 알고리즘은 암시적 협력의 강제 충돌과 매칭 제거를 조합하여 최적의 할당이 유일할 경우 O(ln T)의 오차를 달성한다—이는 2018년 NeurIPS에서 제기된 열린 문제를 해결한 것으로, O(√T ln T)의 최초로 선형 이하인 최대 최소 오차 경계를 제공한다.

ABSTRACT

We study a multiplayer stochastic multi-armed bandit problem in which players cannot communicate, and if two or more players pull the same arm, a collision occurs and the involved players receive zero reward. We consider the challenging heterogeneous setting, in which different arms may have different means for different players, and propose a new and efficient algorithm that combines the idea of leveraging forced collisions for implicit communication and that of performing matching eliminations. We present a finite-time analysis of our algorithm, giving the first sublinear minimax regret bound for this problem, and prove that if the optimal assignment of players to arms is unique, our algorithm attains the optimal $O(\ln(T))$ regret, solving an open question raised at NeurIPS 2018.

연구 동기 및 목표

• 다양한 플레이어가 다른 암보를 가지며 상호 통신이 불가능한 다중 플레이어 밴딧에서의 탈중앙화된 협력 문제를 다루며, 이는 인지 라디오 응용 분야에서 더 현실적인 설정이다.
• 플레이어가 명시적 통신 없이 충돌을 통해 암시적 통신을 가능하게 하여 갈등을 피하고 최적의 할당으로 수렴할 수 있는 알고리즘을 설계한다.
• 최악의 경우 선형 이하의 오차를 달성하고, 최적의 매칭이 유일할 경우 로그 오차를 달성하여 Bistritz와 Leshem(2018)이 제기한 열린 질문을 해결한다.
• 유한 시간 오차 분석을 제공하며, 특히 최적 매칭이 유일하거나 비유일한 경우 모두에서 거의 최적의 성능를 보장하는 날카운 bounds를 포함한다.

제안 방법

• 강제 충돌을 통한 탐색과 열악한 암보-플레이어 할당의 제거를 조합한 이중 단계 알고리즘인 M-ETC-Elim을 도입한다.
• 플레이어가 탐색 및 이용 단계를 번갈아 수행하는 계층적 에포크 구조를 사용하며, 충돌 지표를 통해 잠재적 갈등을 추론한다.
• 신뢰 구간과 관측된 보상 갭을 기반으로 낮은 성능의 암보-플레이어 쌍을 제거하는 매칭 제거 메커니즘을 적용한다.
• 초기화 매개변수 c를 가진 파rameterized 탐색 스케줄을 적용하며, c > 1일 때는 탐색과 이용 간의 트레이드오프를 제어하여 오차가 O(ln(T)^{1+1/c})의 비율로 스케일링된다.
• 볼록성 추론과 농도 불등식을 활용하여 기대 오차를 경계하며, 특히 열악한 간극에 의존하는 경계를 통해 열악한 간선의 영향을 제어한다.
• 특히 최적 매칭이 유일할 경우에 강화된 분석을 통해 이용 단계에 도달하기 이전의 에포크 수에 대한 날카운 경계를 확립한다.

실험 결과

연구 질문

• RQ1 최적의 할당이 유일할 경우, 완전히 탈중앙화된 알고리즘이 이질적 다중 플레이어 밴딧 설정에서 로그 오차를 달성할 수 있는가?
• RQ2 통신이 없는 이질적 다중 플레이어 밴딧 문제에서 달성 가능한 최대 최소 오차는 무엇이며, 이는 선형 이하일 수 있는가?
• RQ3 명시적 신호 없이 강제 충돌을 통한 암시적 통신을 효과적으로 활용하여 플레이어 간의 충돌을 방지하고 협력할 수 있는가?
• RQ4 최적 매칭이 유일하거나 비유일한 상황 모두에서 거의 최적의 오차를 달성하는 실용적인 알고리즘을 설계할 수 있는가?
• RQ5 알고리즘의 하이퍼파ram터 c가 탐색과 오차 성능 간의 트레이드오프에 미치는 영향은 무엇인가?

주요 결과

• 최적의 할당이 유일할 경우 M-ETC-Elim은 O(ln T)의 오차를 달성하며, 이는 정보 이론적 하한선과 일치하고 2018년 NeurIPS에서 제기된 열린 질문을 해결한다.
• 이 알고리즘은 이질적 다중 플레이어 밴딧 문제에 대해 O(√T ln T)의 최초로 선형 이하의 최대 최소 오차 경계를 제공한다.
• 다수의 최적 매칭이 존재하는 일반적인 설정에서는 임의의 c > 1에 대해 오차가 O(ln(T)^{1+1/c})로 스케일링되며, c → 1에 수렴할수록 로그 성능에 가까워진다.
• 시뮬레이션 결과, c = 1인 M-ETC-Elim는 최적 매칭이 유일하거나 비유일한 상황 모두에서 GoT 및 Selfish-UCB와 비교해 뚜렷이 뛰어난 성능를 보였다.
• 많은 플레이어와 암보가 존재하는 도전적인 환경, 특히 근접한 최적 매칭이 존재하는 경우에도 알고리즘의 성능은 강건하며 높은 경험적 효율성을 유지한다.
• 분석을 통해 이용 단계에 도달하기 이전의 에포크 수에 대한 날카운 경계를 확립하였으며, 특히 최적 매칭이 유일할 경우에 강화되어 로그 오차 보장을 가능하게 한다.