[논문 리뷰] Multiplayer Multi-armed Bandits for Optimal Assignment in Heterogeneous Networks

Harshvardhan Tibrewal, Sravan Patchala외 2명|arXiv (Cornell University)|2019. 01. 12.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 7

한 줄 요약

이 논문은 플레이어들이 동일한 암을 사용할 때 서로 다른 보상을 경험하고 직접 통신할 수 없는 이질적 네트워크에서 최적의 할당을 위한 분산 다중 플레이어 다항 보상 밴딧 알고리즘을 제안한다. 탐색-고정 및 탐색-신호-이용(ESE) 프레임워크를 사용하면서 전송 패턴을 통한 신호 전송을 통해, 알고리즘은 로그적 등급과 높은 확률로 근사 최적의 할당을 달성하며, CSM-MAB 및 dE³와 같은 최신 기술보다 실험적으로 뛰어난 성능을 보인다.

ABSTRACT

We consider an ad hoc network where multiple users access the same set of channels. The channel characteristics are unknown and could be different for each user (heterogeneous). No controller is available to coordinate channel selections by the users, and if multiple users select the same channel, they collide and none of them receive any rate (or reward). For such a completely decentralized network we develop algorithms that aim to achieve optimal network throughput. Due to lack of any direct communication between the users, we allow each user to exchange information by transmitting in a specific pattern and sense such transmissions from others. However, such transmissions and sensing for information exchange do not add to network throughput. For the wideband sensing and narrowband sensing scenarios, we first develop explore-and-commit algorithms that converge to near-optimal allocation with high probability in a small number of rounds. Building on this, we develop an algorithm that gives logarithmic regret, even when the number of users changes with time. We validate our claims through extensive experiments and show that our algorithms perform significantly better than the state-of-the-art CSM-MAB, dE3 and dE3-TS algorithms.

연구 동기 및 목표

• 중앙 조율 없이 다중 플레이어 다항 보상 밴딧에서 분산된 최적의 할당을 해결하기 위해.
• 플레이어들이 개별 암 보상을 학습하고 직접 통신 없이도 충돌을 피하고 총 네트워크 보상을 최대화하기 위해 협력할 수 있도록 하기 위해.
• 완전히 분산된 환경에서 비선형(로그형) 등급을 가지며 고확률 근사 최적의 할당을 달성하기 위해.
• 플레이어가 시스템에 참여하거나 퇴출하는 동적 환경으로 이 프레임워크를 확장하기 위해.
• 네트워크 보상을 감소시키지 않고도 정보 교환을 가능하게 하는 강력한 신호 전송 기반을 개발하기 위해.

제안 방법

• 고정된 시간 내에 고확률로 근사 최적의 할당에 수렴하는 탐색-고정 전략을 사용한다.
• 에포크를 통해 탐색, 신호 전송, 이용 단계를 결합한 탐색-신호-이용(ESE) 알고리즘을 도입한다.
• 전송 패턴을 사용하여 베르누이 또는 패킷화된 신호 전송을 통해 플레이어 간에 추정된 보상을 교환한다.
• 허프딩 부등식을 사용하여 탐색 및 신호 전송 단계 동안 추정 오차를 제한한다.
• 이중 단계 신호 전송 기반: 국소적 추정을 위한 공유 청취(SH)와 전역 정보 교환을 위한 브로드캐스트 신호 전송(BS)을 사용한다.
• 모든 플레이어가 동일한 추정 보상 행렬을 구성하여 최적의 할당 계산이 일관되게 이루어지도록 보장한다.

실험 결과

연구 질문

• RQ1 플레이어들 간에 보상이 이질적인 상황에서 분산된 다중 플레이어 밴딧 시스템이 근사 최적의 할당을 달성할 수 있는가?
• RQ2 직접 통신 없이 플레이어들이 충돌을 피하고 총 보상을 최대화하기 위해 어떻게 협력할 수 있는가?
• RQ3 어떤 신호 전송 메커니즘이 네트워크 보상을 감소시키지 않고 정확하고 저비용의 정보 교환을 가능하게 하는가?
• RQ4 알고리즘이 알려지지 않은 이질적 보상을 가진 완전히 분산된 환경에서 로그적 등급을 달성할 수 있는가?
• RQ5 플레이어의 진입 및 퇴출이 가능한 동적 환경에 대해 알고리즘은 어떻게 적응시킬 수 있는가?

주요 결과

• DOA-WS 정책은 고확률 $1 - \delta$ 에서 $T_r + K T_s + K T_b$ 라운드 이후 $(\epsilon, \delta)$-최적성에 도달한다.
• ESE 알고리즘은 점차 증가하는 에포크 크기를 사용하여 탐색, 신호 전송, 이용 단계를 통합함으로써 근사 로그 등급을 달성한다.
• ESE1 변종은 신호 전송 및 탐색 단계를 정밀하게 조정함으로써 최적의 로그 등급 경계를 달성한다.
• 알고리즘은 추정 보상 행렬 $\hat{M}$ 이 고확률로 $|\hat{M} - M| \leq \epsilon I / (2N)$ 를 만족함을 보장하여 근사 최적의 할당을 확보한다.
• 광범위한 실험 결과, 제안된 알고리즘은 CSM-MAB, dE³, dE³-TS와 같은 최신 기술보다 뚜렷이 뛰어난 성능을 보였다.
• 패킷화된 신호 전송은 베르누이 신호 전송보다 정보 교환에 소요되는 시간 슬롯을 줄였지만, 오류 발생 가능성이 더 높았다.