[논문 리뷰] New Algorithms for Multiplayer Bandits when Arm Means Vary Among Players

Emilie Kaufmann, Abbas Mehrabian|arXiv (Cornell University)|2019. 02. 04.

Advanced Bandit Algorithms Research인용 수 3

한 줄 요약

이 논문은 플레이어별 보상 평균과 충돌 페널티를 고려한 다중 플레이어 스토하스틱 다손 띠드 밴딧 문제를 위한 새로운 알고리즘을 제안한다. 일반적인 경우에서 $O((\log T)^{1+\kappa})$의 기대적 퇴보를 달성하며, 유일한 최적 배정이 존재할 경우 $O(\log T)$의 퇴보를 달성한다. 이 방법은 통신 제약 조건 하에서 충돌을 최소화하기 위해 탈중앙화된 학습과 동적 탐색 및 충돌 회피 전략을 활용한다.

ABSTRACT

We study multiplayer stochastic multi-armed bandit problems in which the players cannot communicate, and if two or more players pull the same arm, a collision occurs and the involved players receive zero reward. Moreover, we assume each arm has a different mean for each player. Let $T$ denote the number of rounds. An algorithm with regret $O((\log T)^{2+\kappa})$ for any constant $\kappa$ was recently presented by Bistritz and Leshem (NeurIPS 2018), who left the existence of an algorithm with $O(\log T)$ regret as an open question. In this paper, we provide an affirmative answer to this question in the case when there is a unique optimal assignment of players to arms. For the general case we present an algorithm with expected regret $O((\log T)^{1+\kappa})$, for any $\kappa>0$.

연구 동기 및 목표

• Bistritz와 Leshem가 제기한 열린 문제, 즉 플레이어별 보상 평균이 존재하는 다중 플레이어 밴딧 문제에서 $O(\log T)$의 퇴보가 달성 가능한가를 해결하는 것.
• 플레이어 간 통신이 불가능하고 충돌 발생 시 보상이 0이 되는 조건에서 퇴보를 최소화하는 탈중앙화 알고리즘을 설계하는 것.
• 여러 개의 최적 배정이 존재할 수 있는 일반적인 경우를 다루며, 다항식보다 느린 퇴보 성장률을 보장하는 것.

제안 방법

• 각 플레이어가 추정된 평균과 탐색 보너스에 기반해 독립적으로 암을 선택하는 탈중앙화 학습 프레임워크를 활용한다.
• 플레이어 수와 플레이어 간 보상 평균의 분산에 따라 적응하는 동적 탐색 전략을 도입한다.
• 충돌 탐지 및 회피 메커니즘을 통합하여 갈등이 발생할 경우 플레이어가 선택을 조정할 수 있도록 한다.
• 퇴보 분석은 농도 부등식과 충돌 수의 경계에 기반하며, 플레이어별 보상 평균의 구조를 활용한다.
• 간호 탐색 스케줄을 사용하여 탐색과 이용의 균형을 이루면서 간섭을 최소화한다.
• 유일한 최적 배정이 존재할 경우 총 퇴보가 시간 $T$에 대해 로그적으로 증가함을 증명한다.

실험 결과

연구 질문

• RQ1 플레이어 간 통신이 없고 플레이어별 보상 평균이 존재하는 다중 플레이어 밴딧 문제에서 $O(\log T)$의 퇴보를 달성할 수 있는 알고리즘이 존재하는가?
• RQ2 여러 개의 최적 배정이 존재하는 일반적인 경우에서 최소한의 퇴보는 얼마인가?
• RQ3 충돌 발생 시 보상이 0이 되는 조건에서, 조율 없이 플레이어가 효율적으로 자신의 최적 암을 학습할 수 있는 방법은 무엇인가?
• RQ4 로그 퇴보를 달성하기 위해 보상 평균에 어떤 구조적 가정이 필요한가?
• RQ5 알고리즘의 성능은 플레이어 수와 암의 수에 따라 어떻게 스케일링되는가?

주요 결과

• 논문은 플레이어-암 간 최적 배정이 유일할 경우 $O(\log T)$의 퇴보가 달성 가능하다는 것을 입증한다.
• 여러 개의 최적 배정이 존재하는 일반적인 경우에서, 알고리즘은 임의의 $\kappa > 0$에 대해 $O((\log T)^{1+\kappa})$의 기대적 퇴보를 달성하며, 이는 이전의 $O((\log T)^{2+\kappa})$ bound를 향상시킨다.
• 퇴보 경계는 암 평균이 플레이어 간로 다를 것이라는 가정 하에 유도되었으며, 이는 통신 부재 조건에서도 개인화된 학습이 가능하게 한다.
• 알고리즘은 적응적 탐색과 탈중앙화된 의사결정을 통해 성공적으로 충돌을 피한다.
• 분석 결과 충돌 수는 유한하며, 플레이어들이 최적의 암을 학습함에 따라 점차 감소함을 확인한다.
• Bistritz와 Leshem(NeurIPS 2018)이 제기한 열린 문제를 해결하며, 최적 배정이 유일할 경우 로그 퇴보의 실현 가능성을 입증한다.