[논문 리뷰] Heterogeneous Multi-player Multi-armed Bandits: Closing the Gap and Generalization

Chengshuai Shi, Wei Xiong외 2명|arXiv (Cornell University)|2021. 10. 27.

Advanced Bandit Algorithms Research참고 문헌 46인용 수 7

한 줄 요약

이 논문은 이질적 다중 플레이어 다항보상 밴딧에서 중심화된 하한에 가까운 성능을 달성하는 새로운 탈중앙화 알고리즘인 BEACON을 제안한다. CUCB에서 영감을 얻은 적응형 차등 통신과 배치 탐색을 통합함으로써, BEACON은 선형 및 비선형 보상 설정 모두에서 로그 수준의 리그레트를 달성하며, 조합적 밴딧과 다중 플레이어 밴딧 프레임워크를 효과적으로 융합하고 이론적·실험적 성능이 뛰어나다.

ABSTRACT

Despite the significant interests and many progresses in decentralized multi-player multi-armed bandits (MP-MAB) problems in recent years, the regret gap to the natural centralized lower bound in the heterogeneous MP-MAB setting remains open. In this paper, we propose BEACON -- Batched Exploration with Adaptive COmmunicatioN -- that closes this gap. BEACON accomplishes this goal with novel contributions in implicit communication and efficient exploration. For the former, we propose a novel adaptive differential communication (ADC) design that significantly improves the implicit communication efficiency. For the latter, a carefully crafted batched exploration scheme is developed to enable incorporation of the combinatorial upper confidence bound (CUCB) principle. We then generalize the existing linear-reward MP-MAB problems, where the system reward is always the sum of individually collected rewards, to a new MP-MAB problem where the system reward is a general (nonlinear) function of individual rewards. We extend BEACON to solve this problem and prove a logarithmic regret. BEACON bridges the algorithm design and regret analysis of combinatorial MAB (CMAB) and MP-MAB, two largely disjointed areas in MAB, and the results in this paper suggest that this previously ignored connection is worth further investigation.

연구 동기 및 목표

• 탈중앙화 알고리즘이 이질적 다중 플레이어 다항보상 밴딧(MP-MAB) 환경에서 중심화된 성능에 도달할 수 있는지 여부라는 열린 문제를 해결한다.
• 탈중앙화 플레이어 간 협업에서의 통신 손실을 줄이기 위해 효율적인 암묵적 통신 메커니즘을 개발한다.
• 조합적 MAB(CUCB) 원칙을 활용해 효과적인 탐색을 가능하게 하는 배치 탐색 계획을 설계한다.
• 선형 보상 함수를 초월해 임의의 비선형 시스템 보상 함수로 MP-MAB를 일반화한다.
• 중앙화 하한에 근접한 이론적 리그레트 한계를 확립하고 실험적으로 방법을 검증한다.

제안 방법

• 탈중앙화 MP-MAB에서의 통신 비효율성을 줄이기 위한 새로운 암묵적 통신 기법인 적응형 차등 통신(ADC)을 도입한다.
• 플레이어들이 충돌을 최소화하기 위해 조율된 비중복 단계에서 암호를 탐색할 수 있도록 하는 배치 탐색 메커니즘을 적용한다.
• 조합적 상한 신뢰도(CUCB) 원리를 배치 및 탈중앙화 환경에 적응시켜 효율적인 탐색을 가능하게 한다.
• 개별 보상의 일반 함수로 시스템 보상을 모델링함으로써 BEACON을 비선형 보상 함수로 확장한다.
• 부적절한 매칭 출력에 대한 강건성을 확보하기 위해 $(\alpha,\beta)$-근사 오라클을 사용한다.
• 통신, 탐색, 충돌 리그레트 성분으로 분해된 리그레트 한계를 유도하며, 정밀한 농도 분석을 수행한다.

실험 결과

연구 질문

• RQ1 탈중앙화 알고리즘이 이질적 MP-MAB 환경에서 중심화된 하한에 가까운 리그레트 성능을 달성할 수 있는가?
• RQ2 암묵적 통신을 어떻게 최적화하여 탈중앙화 협업에서 정보 손실을 줄일 수 있는가?
• RQ3 배치 탐색이 다중 플레이어 밴딧 환경에서 탐색과 이용의 균형을 효과적으로 유지할 수 있는가?
• RQ4 선형 MP-MAB를 비선형 시스템 보상 함수로 일반화하면서도 로그 수준의 리그레트를 유지할 수 있는가?
• RQ5 일반적인 보상 함수 하에서 탈중앙화 MP-MAB의 이론적 성능 한계는 무엇인가?

주요 결과

• BEACON는 문제에 의존하는 리그레트 한계 $O(M\sqrt{KT\log T})$를 달성하며, 로그 요소를 제외한 중심화된 하한과 일치한다.
• 비선형 보상 설정에서는 BEACON이 $O(\log T)$ 리그레트를 달성하여, 선형 함수를 초월해도 로그 수준의 리그레트가 달성 가능하다는 것을 입증한다.
• 선형 보상 하에서의 실험 평가에서 BEACON은 최신 기술인 METC 알고리즘보다 약 6배 뛰어난 성능을 보였다.
• 적응형 차등 통신(ADC) 기법은 이전 방법 대비 암묵적 통신 손실을 크게 줄였다.
• 이론적 분석을 통해 조합적 MAB(CMAB)과 다중 플레이어 MAB(MP-MAB)를 효과적으로 융합하며, 이전에 간과되었던 연결 고리를 드러냈다.
• $(\alpha,\beta)$-근사 오라클을 사용함으로써 BEACON는 $\tilde{O}(\log T)$ 리그레트를 유지하며, 비최적의 매칭 출력에 대한 강건성을 입증했다.