[論文レビュー] Heterogeneous Multi-player Multi-armed Bandits: Closing the Gap and Generalization

Chengshuai Shi, Wei Xiong+2 more|arXiv (Cornell University)|Oct 27, 2021

Advanced Bandit Algorithms Research参考文献 46被引用数 7

ひとこと要約

本稿では、非線形報酬設定を含む線形および非線形報酬設定において対数的レグレットを達成する、非均質な多人数マルチアームバンディットにおける分散型アルゴリズムBEACONを提案する。適応的微分通信とCUCBにインspiredされたバッチ化探索を統合することで、中央集権的下界に近い性能を達成し、組合せ型バンディットと多人数バンディットの枠組みを統合する。理論的・実験的両面で優れた性能を示す。

ABSTRACT

Despite the significant interests and many progresses in decentralized multi-player multi-armed bandits (MP-MAB) problems in recent years, the regret gap to the natural centralized lower bound in the heterogeneous MP-MAB setting remains open. In this paper, we propose BEACON -- Batched Exploration with Adaptive COmmunicatioN -- that closes this gap. BEACON accomplishes this goal with novel contributions in implicit communication and efficient exploration. For the former, we propose a novel adaptive differential communication (ADC) design that significantly improves the implicit communication efficiency. For the latter, a carefully crafted batched exploration scheme is developed to enable incorporation of the combinatorial upper confidence bound (CUCB) principle. We then generalize the existing linear-reward MP-MAB problems, where the system reward is always the sum of individually collected rewards, to a new MP-MAB problem where the system reward is a general (nonlinear) function of individual rewards. We extend BEACON to solve this problem and prove a logarithmic regret. BEACON bridges the algorithm design and regret analysis of combinatorial MAB (CMAB) and MP-MAB, two largely disjointed areas in MAB, and the results in this paper suggest that this previously ignored connection is worth further investigation.

研究の動機と目的

• 分散型アルゴリズムが非均質な多人数マルチアームバンディット（MP-MAB）設定において、中央集権的性能に達成可能かどうかという未解決問題に取り組む。
• 分散型プレイヤー協調における通信損失を低減する効率的な暗黙的通信メカニズムを開発する。
• 組合せ型MAB（CUCB）の原則を応用したバッチ化探索スキームを設計し、効果的な探索を可能にする。
• 線形報酬関数を超えて、任意の非線形システム報酬関数へMP-MABを一般化する。
• 中央集権的下界に一致する理論的レグレットバウンドを確立し、実験的にその有効性を検証する。

提案手法

• 適応的微分通信（ADC）を導入し、分散型MP-MABにおける通信非効率性を低減する新しい暗黙的通信スキームを提案する。
• プレイヤーが重複のない段階で協調的にアームを探索できるバッチ化探索メカニズムを採用する。
• バッチ化・分散型設定に合わせて、組合せ型上界信頼性（CUCB）の原則を適応させ、効率的な探索を実現する。
• 個々の報酬の一般関数としてシステム報酬をモデル化することで、BEACONを非線形報酬関数へ拡張する。
• 部分最適なマッチング出力を扱うために$(\alpha,\beta)$-近似オракルを用い、実用的状況におけるロバストネスを実現する。
• 通信、探索、衝突レグレットの3要素に分解してレグレットバウンドを導出し、精密な集中度解析を実施する。

実験結果

リサーチクエスチョン

• RQ1 分散型アルゴリズムは、非均質なMP-MAB設定において、中央集権的下界に近いレグレット性能を達成可能か？
• RQ2 分散型協調における情報損失を低減するために、暗黙的通信をどのように最適化できるか？
• RQ3 バッチ化探索は、多人数バンディット設定における探索と活用のバランスを効果的に取れるか？
• RQ4 線形MP-MABを非線形システム報酬関数へ一般化しても、対数的レグレットを維持できるか？
• RQ5 一般報酬関数下での分散型MP-MABの理論的性能限界は何か？

主な発見

• BEACONは、問題依存のレグレットバウンド$O(M\sqrt{KT\log T})$を達成し、中央集権的下界に対数的要因を除いて一致する。
• 非線形報酬設定では、BEACONが$O(\log T)$のレグレットを達成し、線形関数を超えて対数的レグレットが達成可能であることを示した。
• 線形報酬下での実験的評価において、最先端のMETCアルゴリズムを約6倍の性能で上回った。
• 適応的微分通信（ADC）スキームにより、従来手法に比べて暗黙的通信損失が顕著に低減された。
• 理論的分析により、組合せ型MAB（CMAB）と多人数MAB（MP-MAB）の間の、かつて見過ごされていた関係が明らかになった。
• $(\alpha,\beta)$-近似オラクルを用いることで、BEACONは$\tilde{O}(\log T)$のレグレットを維持し、部分最適なマッチング出力に対してもロバストであることが示された。