[论文解读] Multi-Player Bandits Revisited

Lilian Besson, Emilie Kaufmann|arXiv (Cornell University)|Nov 7, 2017

Advanced Bandit Algorithms Research被引用 19

一句话总结

本文通過引入反饋層次的分層結構，重新探討多玩家多臂Bandits問題，提出兩種新的去中心化算法——RandTopM與MCTopM，實現在感測反饋下對最佳M個臂的漸近最優選擇。此外，針對無感測情境，提出自利（Selfish）啟發式方法，理論與實證驗證顯示MCTopM達成對數型懊悔，且在高衝突情境下優於現有方法。

ABSTRACT

Multi-player Multi-Armed Bandits (MAB) have been extensively studied in the literature, motivated by applications to Cognitive Radio systems. Driven by such applications as well, we motivate the introduction of several levels of feedback for multi-player MAB algorithms. Most existing work assume that sensing information is available to the algorithm. Under this assumption, we improve the state-of-the-art lower bound for the regret of any decentralized algorithms and introduce two algorithms, RandTopM and MCTopM, that are shown to empirically outperform existing algorithms. Moreover, we provide strong theoretical guarantees for these algorithms, including a notion of asymptotic optimality in terms of the number of selections of bad arms. We then introduce a promising heuristic, called Selfish, that can operate without sensing information, which is crucial for emerging applications to Internet of Things networks. We investigate the empirical performance of this algorithm and provide some first theoretical elements for the understanding of its behavior.

研究动机与目标

• 為解決在缺乏理論與演算法框架的情境下，多玩家Bandits在不同反饋約束下的問題，特別是在無感測的物聯網應用中。
• 改進去中心化多玩家Bandits懊悔的現有下界，進一步緊緻化問題依賴的懊悔邊界。
• 設計並分析新的去中心化演算法——RandTopM與MCTopM，使其在次優臂選擇中達成漸近最優性，並在感測情境下實現對數型懊悔。
• 提出並評估一種新啟發式方法——Selfish，其在無感測資訊下運作，對物聯網與低複雜度無線網絡至關重要。
• 透過理論與實證方式驗證這些演算法在多種情境下的表現，包括高玩家-臂比例與具挑戰性的Bandits實例。

提出的方法

• 基於資訊理論原則，提出去中心化多玩家Bandits的新型問題依賴懊悔下界，其緊緻程度優於先前工作。
• 提出RandTopM，一種隨機化演算法，於每一步從估計的前M個臂中均勻隨機選擇，確保低衝突機率。
• 提出MCTopM，一種更複雜的演算法，利用KL-UCB基於的信賴區間，優先選擇期望回報高且衝突風險低的臂。
• 採用集中式懊悔指標評估性能，定義為最佳M臂配置總獎勵與實際累積獎勵之間的差異。
• 將KL-UCB演算法作為RandTopM與MCTopM的基礎，利用其在單玩家Bandits中具備對數型懊悔的性質。
• 提出Selfish啟發式方法，允許玩家在無感測情況下獨立行動，依賴隨機化與自我避讓機制以減少衝突。

实验结果

研究问题

• RQ1 在感測反饋下，去中心化多玩家Bandits的懊悔理論下界能否進一步緊緻化？
• RQ2 能否設計新去中心化演算法，使其在次優臂選擇次數上達成漸近最優性？
• RQ3 MCTopM在懊悔表現上如何？其是否達成與新下界相符的對數型懊悔邊界？
• RQ4 在無感測反饋情境下，Selfish啟發式方法表現如何？其理論與實證性質為何？
• RQ5 在高M或高K情境下，RandTopM與MCTopM在何種條件下會優於RhoRand與Selfish等現有演算法？

主要发现

• 本論文建立了一個新的、更緊緻的問題依賴懊悔下界，適用於去中心化多玩家Bandits，相較於Anandkumar等人先前成果有所改進。
• MCTopM達成與新理論下界相符的對數型懊悔邊界，展現出懊悔增長上的漸近最優性。
• 在M = K的情境（9位玩家，9個臂）下，MCTopM維持常數懊悔，而RhoRand與Selfish則表現出顯著更高的懊悔，顯示MCTopM的穩健性。
• RandTopM與MCTopM在多個問題實例中，實證表現優於RhoRand與Selfish等現有演算法，特別是在高衝突與高變異性情境下。
• Selfish啟發式在無感測情境中表現具競爭力，於低M情境下甚至優於RhoRand與有時超越MCTopM，展現出在物聯網應用中的潛力。
• 在具挑戰性的問題中（K=17個臂，M=12或M=17），MCTopM保持穩定且表現良好，而其他演算法則嚴重失敗，凸顯其韌性。