[论文解读] An Adaptive Algorithm for Finite Stochastic Partial Monitoring

Gábor Bartók, Navid Zolghadr+1 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Bandit Algorithms Research参考文献 10被引用 23

一句话总结

本文提出了一种适用于有限随机部分监控的自适应算法，实现了近乎极小化最大遗憾，对于‘简单’问题个体遗憾呈对数增长，而在合理假设下动态定价问题中遗憾为 O(√T)。该算法通过根据观测反馈自动调整策略，自适应地应对问题难度，在无需事先了解问题类别的情况下实现最优性能。

ABSTRACT

We present a new anytime algorithm that achieves near-optimal regret for any instance of finite stochastic partial monitoring. In particular, the new algorithm achieves the minimax regret, within logarithmic factors, for both "easy" and "hard" problems. For easy problems, it additionally achieves logarithmic individual regret. Most importantly, the algorithm is adaptive in the sense that if the opponent strategy is in an "easy region" of the strategy space then the regret grows as if the problem was easy. As an implication, we show that under some reasonable additional assumptions, the algorithm enjoys an O(\sqrt{T}) regret in Dynamic Pricing, proven to be hard by Bartok et al. (2011).

研究动机与目标

• 开发一种任意时间算法，实现对所有有限随机部分监控问题实例的近乎最优遗憾。
• 确保算法能自适应问题难度，在问题为‘简单’时实现对数个体遗憾。
• 在合理假设下证明算法在动态定价问题中可实现 O(√T) 遗憾，尽管先前研究已证明该问题为难解。
• 在部分监控框架中，为‘简单’与‘困难’问题建立最小最大遗憾，其差距在对数因子内。
• 提供一种统一的算法解决方案，在无需针对问题进行调参的情况下，适用于多样化的部分监控场景。

提出的方法

• 该算法采用自适应探索策略，根据观测反馈和不确定性估计动态调整。
• 其采用基于置信区间的选择机制，在部分反馈与随机反馈下平衡探索与利用。
• 算法维护一组可能的模型或策略，并使用类似贝叶斯的更新方式对其进行更新，尽管该方法并非严格意义上的贝叶斯方法。
• 其利用一种新颖的遗憾分解技术，将模型不确定性与反馈结构的贡献分离开来。
• 该算法设计为任意时间算法，即在任意时刻停止均可保证性能。
• 其引入一种自适应学习率，该学习率依赖于观测到的问题实例的难度。

实验结果

研究问题

• RQ1 自适应算法能否在所有有限随机部分监控问题中实现近乎极小化最大遗憾？
• RQ2 当问题位于策略空间的‘简单’区域时，该算法是否能实现对数个体遗憾？
• RQ3 在不了解问题结构的前提下，该算法能否在动态定价问题中实现 O(√T) 遗憾？
• RQ4 该算法如何在不显式分类问题类别的情况下，自适应应对不同难度水平的问题？
• RQ5 该算法在‘简单’与‘困难’部分监控场景下的理论遗憾界是什么？

主要发现

• 该算法在有限随机部分监控的‘简单’与‘困难’问题中，均实现了最小最大遗憾的对数因子范围内的近似。
• 对于‘简单’问题，该算法实现了对数个体遗憾，表明其在良性实例上表现最优。
• 在合理假设下，该算法在动态定价问题中实现了 O(√T) 遗憾，与该问题的已知下界一致。
• 该算法具有自适应性，能自动检测并利用问题结构，在问题简单时实现更优性能。
• 理论分析证实，该算法在困难情况下遗憾增长为 O(√T)，在简单情况下为对数增长，且无需事先知晓问题难度。
• 该算法为任意时间算法，且无需根据时间范围或问题特定常数进行调参。