[论文解读] From Bandits to Experts: A Tale of Domination and Independence

Noga Alon, Nicolò Cesa‐Bianchi+2 more|arXiv (Cornell University)|Jul 17, 2013

Advanced Bandit Algorithms Research参考文献 15被引用 34

一句话总结

本文對部分可觀察性下的敵對多臂賭盤問題中的遺憾進行了全面的特徵分析，使用有向與無向可觀察圖。提出 Exp3-DOM 算法，能以圖的獨立數為基礎實現最佳遺憾邊界，並提出 Exp3-SET 算法，無需事先知道圖結構，顯著提升計算效率，性能與先前方法相比有顯著改善。

ABSTRACT

We consider the partial observability model for multi-armed bandits, introduced by Mannor and Shamir. Our main result is a characterization of regret in the directed observability model in terms of the dominating and independence numbers of the observability graph. We also show that in the undirected case, the learner can achieve optimal regret without even accessing the observability graph before selecting an action. Both results are shown using variants of the Exp3 algorithm operating on the observability graph in a time-efficient manner.

研究动机与目标

• 針對多臂賭盤問題，對有向與動態可觀察圖中的遺憾進行特徵分析。
• 設計在可觀察結構先驗知識最少的情況下仍能有效運行的演算法。
• 將先前針對無向圖的研究成果推廣至更具一般性的有向圖情況。
• 利用圖論指標（如獨立數與支配數）獲得更緊緻的遺憾邊界。
• 探討可觀察圖僅在動作選擇後才被揭示的場景，以提升實際效率。

提出的方法

• 提出 Exp3-DOM，為 Exp3 算法的變體，利用可觀察圖的支配集來指導動作選擇。
• 使用貪心集合覆蓋演算法即時計算近似最小支配集。
• 採用倍增技巧，動態調節多尺度下的學習率參數。
• 透過分析圖的獨立數與演算法探索-利用權衡之間的互動關係，推導遺憾邊界。
• 提出 Exp3-SET，為簡化版本，無需在預測前獲取圖結構，依賴無偏損失估計器。
• 利用組合構造與圖複雜度指標（如最大無環子圖與獨立數）建立理論邊界。

实验结果

研究问题

• RQ1 在具有有向可觀察圖的敵對賭盤問題中，可達成的最優遺憾為何？
• RQ2 遺憾如何以圖論性質（如獨立數與支配數）來表徵？
• RQ3 能否設計出無需事先知道可觀察圖結構的高效演算法？
• RQ4 當圖僅在動作選擇後才被揭示時，可達成何種性能保證？
• RQ5 能否利用超越獨立數的其他圖複雜度指標，獲得更緊緻的遺憾邊界？

主要发现

• Exp3-DOM 在有向動態情況下的遺憾邊界為 O(ln(K) * sqrt(ln(KT) * sum_t α(G_t)) + ln(K) * ln(KT))，其中 α(G_t) 為時刻 t 時圖 G_t 的獨立數。
• 當使用貪心集合覆蓋演算法計算支配集時，Exp3-DOM 的遺憾邊界可由序列 α(G_t) 的獨立數來界定。
• Exp3-SET 在無向情況下的遺憾與先前演算法 ELP 相同，且無需事先知道可觀察圖。
• Exp3-SET 的遺憾邊界由最大無環子圖的函數上界控制，但此邊界可能不緊緻。
• 本文確立了獨立數 α(G_t) 是表徵有向與無向部分可觀察模型中遺憾的關鍵複雜度指標。
• 推導出一個新型組合引理，利用獨立數來界定分析中關鍵量的上界，此結果在圖論中可能具有獨立研究價值。