[논문 리뷰] Multi-Player Bandits: The Adversarial Case

Pragnya Alatur, Kfir Y. Levy외 1명|arXiv (Cornell University)|2019. 02. 21.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 18

한 줄 요약

이 논문은 통신 없이도 공격적인 비정상 환경에서 하한선을 초과하지 않는 성능 보장을 갖는 최초의 다중 플레이어 밴딧 알고리즘을 제안한다. 충돌 신호를 통한 블록 기반 협업과 책임자 메커니즘을 사용하여, $\widetilde{O}(K^{4/3}N^{2/3}T^{2/3})$의 손실 한계를 달성함으로써 공격적인 다중 플레이어 밴딧 문제에서 열려 있던 문제를 해결한다.

ABSTRACT

We consider a setting where multiple players sequentially choose among a common set of actions (arms). Motivated by a cognitive radio networks application, we assume that players incur a loss upon colliding, and that communication between players is not possible. Existing approaches assume that the system is stationary. Yet this assumption is often violated in practice, e.g., due to signal strength fluctuations. In this work, we design the first Multi-player Bandit algorithm that provably works in arbitrarily changing environments, where the losses of the arms may even be chosen by an adversary. This resolves an open problem posed by Rosenski, Shamir, and Szlak (2016).

연구 동기 및 목표

• 플레이어 간 통신이 불가능한 공격적인 비정상 다중 플레이어 밴딧 환경에서 증명 가능한 보장을 제공하지 못하는 문제를 해결한다.
• 로젠스키, 케임프, 슈라크(2016)가 제기한, 통신 없이도 효율적인 알고리즘을 설계하는 공격적인 다중 플레이어 밴딧 문제를 해결한다.
• 충돌 피드백만을 통신 원리로 사용하여 플레이어 간 협업을 가능하게 하는 메커니즘을 설계한다.
• 손실이 적대적으로 선택되는 환경에서도 임의로 변화하는 환경에서 하한선을 초과하지 않는 손실 한계를 확보한다.
• 채널 장애나 갑작스러운 링크 향상과 같은 동적 네트워크 환경에서의 성능에 대한 이론적 보장을 제공한다.

제안 방법

• 플레이어가 장기간 동안 일관된 암 선택을 유지할 수 있도록 블록 기반 아키텍처를 도입한다.
• 단일 책임자 플레이어가 손실 추정치를 바탕으로 암을 선택하고, 충돌 신호를 통해 결정을 방송한다.
• 충돌을 암묵적 통신 수단으로 활용: 플레이어는 공동 사용된 암을 통해 협업을 감지한다.
• 음악의자 단계를 도입하여 암의 소유권을 할당함으로써 학습 단계 이후 충돌이 발생하지 않도록 보장한다.
• 편향 없는 손실 추정과 지수 가중치를 사용하여 암 선택을 지도하고, 적대적인 손실 시퀀스에 적응한다.
• 한 번이라도 충돌 없이 암을 선택한 후에는 플레이어가 그 암을 게임 전반에 걸쳐 유지한다.

실험 결과

연구 질문

• RQ1 통신 없이도 공격적인 비정상 환경에서 하한선을 초과하지 않는 손실 한계를 달성할 수 있는 다중 플레이어 밴딧 알고리즘이 존재하는가?
• RQ2 충돌 피드백만을 통신 원리로 사용하여 협업 메커니즘을 설계하는 것이 가능한가?
• RQ3 통신 제약 조건 하에서 공격적인 다중 플레이어 밴딧 환경에서 달성 가능한 최적의 손실 한계는 무엇인가?
• RQ4 갑작스러운 링크 장애(예: $\mu=0.1$에서 $\mu=0.9$로)가 발생하는 동적 환경에서 알고리즘의 성능은 어떠한가?
• RQ5 초기 학습 단계 이후 환경이 변화하더라도 알고리즘이 낮은 손실을 유지할 수 있는가? 이는 이전 방법들과의 대비에서 특히 중요하다.

주요 결과

• 제안된 알고리즘은 $\widetilde{O}(K^{4/3}N^{2/3}T^{2/3})$의 손실 한계를 달성하며, $K$와 $N$이 상수일 경우 $\widetilde{O}(T^{2/3})$로 해석된다.
• 스토케스틱 설정에서는 학습 단계 이후 기존 방법과 동일한 성능을 보이며, $T_0$ 이후 손실 증가가 더 이상 발생하지 않는다.
• 갑작스러운 링크 장애가 발생하는 동적 상황(예: $\mu=0.1$에서 $\mu=0.9$로 변화)에서 알고리즘은 빠르게 적응하여 손실을 감소시키며, MC와 같은 기존 방법은 반응하지 못한다.
• 이전에 나쁜 링크가 향상된 경우(예: $\mu=0.9$에서 $\mu=0.1$로 변화)에도 알고리즘은 변화를 감지하고 이를 활용하지만, MC는 열악한 선택에 갇혀 있다.
• 적대적인 손실 시퀀스 하에서도 알고리즘은 일관된 손실 증가율을 유지하며, 임의의 환경 변화에 대한 강건성을 보여준다.
• 실험 결과, 환경 변화 이후에도 알고리즘이 MC(Musical Chairs)보다 뛰어난 성능을 보이며, 특히 학습 단계 이후 환경 변화가 발생하는 비정상 환경에서 두드러진다.