[論文レビュー] Decentralized Multi-player Multi-armed Bandits with No Collision Information

Chengshuai Shi, Wei Xiong+2 more|arXiv (Cornell University)|Feb 29, 2020

Advanced Bandit Algorithms Research参考文献 15被引用数 12

ひとこと要約

本稿では、衝突情報が利用できない状況下でも、通信をZチャネルとしてモデル化し、最適なエラー訂正符号を適用することで、報酬統計を信頼性高く伝送する分散型マルチプレイヤー多腕バンディットアルゴリズムEC-SICを提案する。メッセージ長を固定し、エラー訂正を用いることで通信損失を排除し、漸近的レジームが中央集権的ベンチマークに定数倍の要因まで一致する。

ABSTRACT

The decentralized stochastic multi-player multi-armed bandit (MP-MAB) problem, where the collision information is not available to the players, is studied in this paper. Building on the seminal work of Boursier and Perchet (2019), we propose error correction synchronization involving communication (EC-SIC), whose regret is shown to approach that of the centralized stochastic MP-MAB with collision information. By recognizing that the communication phase without collision information corresponds to the Z-channel model in information theory, the proposed EC-SIC algorithm applies optimal error correction coding for the communication of reward statistics. A fixed message length, as opposed to the logarithmically growing one in Boursier and Perchet (2019), also plays a crucial role in controlling the communication loss. Experiments with practical Z-channel codes, such as repetition code, flip code and modified Hamming code, demonstrate the superiority of EC-SIC in both synthetic and real-world datasets.

研究の動機と目的

• 衝突情報が利用できない状況下で、分散型と中央集権型のマルチプレイヤー多腕バンディットの性能ギャップを埋めること。
• 情報理論的に通信をZチャネルとしてモデル化することで、衝突センシングが利用できない状況下でもプレイヤー間の信頼性の高い通信を可能にすること。
• 固定長メッセージと最適なエラー訂正符号化を用いることで、通信に起因するレジームを排除すること。
• 従来のセンシングなしアプローチで見られた劣化を逆転させ、プレイヤー間で完全なアーム統計を共有できる能力を回復すること。
• 衝突センシングができない状況下でも、強制的な衝突を通信手段として活用し、中央集権的下限に近いレジームを達成できることを示すこと。

提案手法

• 衝突情報なしの通信フェーズを、'衝突なし'を'0'シンボル、'衝突'を'1'シンボルとするZチャネルとしてモデル化する。
• 報酬統計をZチャネル上で符号化・復号化するために、最適なエラー訂正符号（例：繰り返し符号、フラップ符号、改変ハミング符号）を適用する。
• メッセージ長を定数に固定することで、メッセージサイズの対数的増加を回避し、通信レジームが全体のレジームを支配しないようにする。
• プレイヤーがアーム統計と内部順位に同期できるように、エラー訂正を同期メカニズムに統合する。
• 二段階構造を採用：通信のための強制的衝突を伴う探索フェーズ、その後に共有統計を用いた活用フェーズ。
• ランダム符号化の誤り指数 $E(\mu_{(K)})$ を用いて復号誤り率を抑え、信頼性の高いメッセージ伝送を保証する。

実験結果

リサーチクエスチョン

• RQ1 衝突情報が利用できない状況下でも、分散型マルチプレイヤー・バンディットアルゴリズムが中央集権的ベンチマークに近いレジームを達成できるか？
• RQ2 センシングが利用できない状況下で、強制的衝突を信頼性の高い通信チャネルとして利用できるか？ もしそうなら、誤り率を最小限に抑える方法は何か？
• RQ3 通信フェーズでメッセージ長を固定することで、センシングなし環境における通信損失が総レジームを支配しなくなるか？
• RQ4 Zチャネルモデルに最適なエラー訂正符号を用いて、マルチプレイヤー・バンディット通信に効果的に適用できるか？
• RQ5 提案手法は、合成的および実世界のバンディットゲームにおいて、従来のSIC-MMAB変種と比べてどのように経験的に優れているか？

主な発見

• EC-SICは、$\sum_{k>M}\frac{\log(T)}{\mu_{(M)}-\mu_{(k)}} + \left(\frac{M^{2}K}{E(\mu_{(K)})}\log(\frac{1}{\Delta}) + \frac{MK}{\mu_{(K)}}\right)\log(T)$ の漸近的レジームバウンドを達成し、中央集権的ベンチマークに定数倍の要因まで一致する。
• 固定長メッセージの使用により、SIC-MMAB2で支配的になる $\log(T)\log^{2}(\log(T))$ の通信レジームを回避でき、EC-SICはセンシングなしのアルゴリズムとして中央集権的性能に最も近い成果を達成した初の手法である。
• 合成データ上の実験では、$M$ や $K$ が大きく、または $\Delta$ が小さい場合にSIC-MMAB2を上回り、通信誤りが低減されたことが要因である。
• 通信ラウンド数 $N=15$ の場合、EC-SICのレジームは急激に増加し、誤り率と通信コストのバランスが極めて重要であることを確認した。
• 実世界のMovieLensデータセット（$T=2\times10^7$, $M=20$, $K=40$）では、EC-SICはSIC-MMAB2を著しく上回り、大規模で困難な環境でも安定性を示した。
• 実用的なZチャネル符号（繰り返し符号、フラップ符号、改変ハミング符号）は、復号誤りを効果的に低減し、実験的性能を向上させた。