[论文解读] Exploration by Optimisation in Partial Monitoring

Tor Lattimore, Csaba Szepesvári|arXiv (Cornell University)|Jul 12, 2019

Advanced Bandit Algorithms Research参考文献 34被引用 20

一句话总结

本文提出了一种新颖且高效的局部可观察部分监控游戏算法，通过优化方法提升对抗环境下的探索效率。通过求解凸优化问题以改进指数加权分布，该算法在非退化局部可观察游戏中实现了最小最大后悔界 $2mk^{3/2}ackslashackslashsqrt{3n\log(k)}$，与目前已知的最佳信息论上界完全一致。

ABSTRACT

We provide a simple and efficient algorithm for adversarial $k$-action $d$-outcome non-degenerate locally observable partial monitoring game for which the $n$-round minimax regret is bounded by $6(d+1) k^{3/2} \sqrt{n \log(k)}$, matching the best known information-theoretic upper bound. The same algorithm also achieves near-optimal regret for full information, bandit and globally observable games.

研究动机与目标

• 设计一种简单且高效的有限对抗性部分监控游戏算法，实现可证明最优的后悔性能。
• 解决尽管已知最优后悔界，但非退化局部可观察游戏缺乏构造性算法的问题。
• 通过统一框架，在多种游戏类型（包括Bandits、完整信息、全局可观察游戏）中实现近似最优的后悔性能。
• 消除后悔界中对任意大游戏特定常数的依赖，确保算法的可扩展性与实用性。
• 通过简单实验提供高概率后悔界与实证验证。

提出的方法

• 通过求解凸优化问题，对指数加权分布进行修正，以最小化后悔界中的稳定性项。
• 使用重要性加权损失差估计器，从观测信号中构建动作价值差的无偏估计。
• 该方法的核心是一个凸优化问题（公式9），用于平衡探索与稳定性，确保所得分布具有鲁棒性与良好条件性。
• 利用极小化极大对偶性与贝叶斯后悔分析的洞见，证明了在局部可观察游戏中存在合适的探索分布。
• 该算法自适应于游戏结构，在无需重新配置的情况下，对Bandits、完整信息与全局可观察设置均实现近似最优的后悔性能。
• 通过集中不等式与稳定性分析，推导出高概率后悔界，且优化目标直接体现在后悔保证中。

实验结果

研究问题

• RQ1 能否为非退化局部可观察部分监控游戏设计一种简单且高效的算法，使其达到信息论上最优的后悔界？
• RQ2 如何通过凸优化修改指数加权分布，系统性地改进部分监控中的探索性能？
• RQ3 单一算法在多类游戏（如Bandits、完整信息、全局可观察）中实现近似最优后悔性能的适应能力有多大？
• RQ4 优化问题在控制稳定性项并确保在多样化游戏结构中实现紧密后悔界方面起到何种作用？
• RQ5 该算法能否避免以往方法在‘简单’游戏中因依赖大游戏特定常数而导致的问题？

主要发现

• 所提出的算法在非退化局部可观察游戏中实现了最小最大后悔界 $2mk^{3/2}\backslash\sqrt{3n\log(k)}$，与目前已知的最佳信息论上界完全一致。
• 同一算法在Bandits游戏中实现 $\sqrt{2nk\log(k)}$ 的后悔性能，在完整信息游戏中实现 $\sqrt{2n\log(k)}$ 的后悔性能，展现出强大的自适应能力。
• 建立了高概率后悔界，确保在对抗性反馈下无需分布假设也能实现可靠性能。
• 该算法高效且具有构造性，填补了以往研究中仅通过极小化极大对偶性非构造性地证明最优后悔界的空白。
• 基于优化的探索机制有效控制了指数加权中的稳定性项，从而获得更紧的后悔保证。
• 该框架可扩展至其他势函数（如Follow-the-Regularized-Leader），并支持未来增强，如引入对数障碍或乐观性机制以进一步提升自适应能力。