[논문 리뷰] Non-Stochastic Multi-Player Multi-Armed Bandits: Optimal Rate With Collision Information, Sublinear Without

Sébastien Bubeck, Yuanzhi Li외 2명|arXiv (Cornell University)|2019. 04. 28.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 5

한 줄 요약

이 논문은 충돌 정보가 있는 비스스로적 다중 플레이어 다중 손실 기반 밴딧 문제에 대해 최초로 $√{T}$의 최적의 누적 손실을 확보하며, 충돌 정보가 없는 경우에 대해선 최초로 $T^{1-1/(2m)}$의 비선형 손실을 확보한다. 충돌을 피하고 적대적 손실 시퀀스 하에서 비최적의 손실을 달성하기 위해 구조화된 행동 매핑을 사용하는 새로운 스왑 기반 전략을 제안한다.

ABSTRACT

We consider the non-stochastic version of the (cooperative) multi-player multi-armed bandit problem. The model assumes no communication at all between the players, and furthermore when two (or more) players select the same action this results in a maximal loss. We prove the first $\sqrt{T}$-type regret guarantee for this problem, under the feedback model where collisions are announced to the colliding players. Such a bound was not known even for the simpler stochastic version. We also prove the first sublinear guarantee for the feedback model where collision information is not available, namely $T^{1-\frac{1}{2m}}$ where $m$ is the number of players.

연구 동기 및 목표

• 플레이어 간 통신이 없는 비스스로적, 분산형 다중 플레이어 다중 손실 기반 밴딧 문제에서 비선형 손실을 달성하는 데 있어 열려 있는 문제를 해결한다.
• 충돌이 충돌하는 플레이어에게 명시적으로 알림을 주는 피드백 모델 하에서 최초로 최적의 $√{T}$ 손실 보장을 제공한다.
• 더 도전적인 환경인 충돌 정보가 제공되지 않는 경우에 대해 최초로 $T^{1-1/(2m)}$의 비선형 손실 한계를 확립한다.
• 비적응적 적대자(고정된 손실 시퀀스)에 대해서만 비선형 손실이 가능하며, 적응적 적대자는 $Ω(T)$의 손실을 유도할 수 있음을 보여준다.
• 두 플레이어의 결과를 $m$명의 플레이어로 일반화하여, 두 피드백 모델 모두에서 플레이어 수에 따라 손실이 부드럽게 증가함을 보인다.

제안 방법

• 더 느린 플레이어의 행동을 매핑하여 모든 $m$명의 플레이어가 충돌 없이 공통적으로 $m$개의 목표 행동을 탐색하도록 보장하는 스왑 기반 전략을 제안한다.
• $\Phi_{k}$를 첫 번째 $k-1$ 단계에서 사용되지 않은 최소의 행동 $a_j$로 정의하며, $a_j \geq m-k+1$ 조건을 만족시켜 유효하고 반복되지 않는 할당을 보장한다.
• 각 플레이어 $i$에 대해 시간 영역을 $T^{(i-1)/m}$ 블록으로 분할하고, 레이먼드 15를 적용하여 손실 추정치의 집중도를 이용해 각 블록 내 손실을 제한한다.
• 이전 플레이어의 행동 역사를 및 목표 행동 집합 $\{a_1, \dots, a_m\}$에 따라 의존하는 함수 $\Phi_{i,t}$를 정의하여, 각 시간 블록에서 모든 목표 행동이 정확히 한 번씩 커버되도록 보장한다.
• 각 시간 $t$에서 $\{\Phi_{j,t}(A_{j,t})\}_{j\leq m}$ 가 $\{a_1, \dots, a_m\}$ 의 순열을 이룬다는 사실을 활용하여, 모든 플레이어 간의 공동 손실 분석이 가능해진다.
• 이전에 사용된 행동을 할당하거나 하한 제약 조건을 위반하지 않는 유효한 할당이 존재함을 보이기 위해 카운팅 추론을 사용한다.

실험 결과

연구 질문

• RQ1 충돌 정보가 있는 비스스로적 다중 플레이어 밴딧 문제에서 최적의 $\sqrt{T}$ 손실을 달성할 수 있는가?
• RQ2 충돌 정보가 없는 비스스로적 다중 플레이어 밴딧 문제에서 비선형 손실을 달성할 수 있는가?
• RQ3 적응적 적대자 하에서 비스스로적 다중 플레이어 밴딧 모델의 손실의 본질적 한계는 무엇인가?
• RQ4 충돌 정보가 없는 피드백 모델에서 플레이어 수 $m$에 따라 손실은 어떻게 스케일링되는가?
• RQ5 분산형, 통신이 없는 다중 플레이어 전략이 국소 관측과 공유된 난수만을 사용하여 비최적의 손실을 달성할 수 있는가?

주요 결과

• 충돌 정보가 있는 비스스로적 다중 플레이어 다중 손실 기반 밴딧 문제에서 최초로 최적의 $\widetilde{O}(\sqrt{T})$ 손실 한계를 확보한다.
• 충돌 피드백 모델이 없는 경우, 최초로 $O(mK^{3/2}T^{1-1/(2m)}\sqrt{\log K})$ 의 비선형 손실 한계를 확립한다.
• 비선형 손실은 적응적 적대자에 대해서는 불가능하며, 충돌 정보가 있더라도 such 적대자는 $\Omega(T)$의 손실을 강제할 수 있음을 증명한다.
• $T^{1-1/(2m)}$ 손실 한계는 $m$이 증가함에 따라 열악해지지만, 고정된 $m$에 대해서는 여전히 비선형이다.
• 제안된 전략은 $m$명의 플레이어가 충돌 없이 고정된 $m$개의 행동을 공동으로 탐색하도록 보장하는 새로운 스왑 함수 $\Phi_k$를 사용한다. 이는 공동 손실 분석을 가능하게 한다.
• $\Phi_k$의 구성은 값과 색인 제약 조건을 모두 만족하는 유효한 반복되지 않는 행동 할당이 존재함을 보여주는 카운팅 추론을 통해 증명된다.