[论文解读] Internal Regret with Partial Monitoring. Calibration-Based Optimal Algorithms

Vianney Perchet|arXiv (Cornell University)|Feb 22, 2011

Advanced Bandit Algorithms Research参考文献 27被引用 24

一句话总结

本文提出首个基于校准的序列决策算法，适用于部分监控环境，实现 $O(n^{-1/3})$ 的期望内部与外部遗憾。通过将校准推广至拉格朗日图（Laguerre diagrams），并构建旗空间的有限自适应离散化，该方法避免了先前方法的计算低效性，同时在无需对信号结构施加强假设的前提下，确保了最优收敛速率。

ABSTRACT

We provide consistent random algorithms for sequential decision under partial monitoring, i.e. when the decision maker does not observe the outcomes but receives instead random feedback signals. Those algorithms have no internal regret in the sense that, on the set of stages where the decision maker chose his action according to a given law, the average payoff could not have been improved in average by using any other fixed law. They are based on a generalization of calibration, no longer defined in terms of a Voronoi diagram but instead of a Laguerre diagram (a more general concept). This allows us to bound, for the first time in this general framework, the expected average internal -- as well as the usual external -- regret at stage $n$ by $O(n^{-1/3})$, which is known to be optimal.

研究动机与目标

• 开发一种在部分监控下具有一致性且计算高效的序列决策算法，实现最优遗憾界。
• 将校准概念从沃罗诺伊图（Voronoï）推广至拉格朗日图，以处理收益与信号函数中的非线性结构。
• 在一般部分监控框架下，实现内部与外部遗憾的最优 $O(n^{-1/3})$ 期望遗憾界。
• 克服先前方法的计算局限性，这些方法依赖于任意 $5$-离散化或在每个阶段求解高维优化问题。
• 提供一种框架，确保内部一致性，而无需依赖确定性反馈或收益与信号之间线性兼容性的假设。

提出的方法

• 该算法采用旗空间（即与动作相关的信号分布向量）的有限自适应离散化，以基于拉格朗日图的结构取代任意 $5$-离散化。
• 在每个阶段，基于当前预测与观测到的反馈，求解一个固定规模的线性方程组，从而确保计算效率。
• 利用参数化优化问题解集的多面体结构，确保最优响应动作在旗空间的各个区域中保持恒定。
• 通过以拉格朗日图替代沃罗诺伊图，推广经典校准方法，更准确地捕捉部分监控中收益与信号依赖关系的几何特性。
• 该算法确保：当某项预测被采用时，其平均收益接近于该预测的最优响应，从而限制内部遗憾。
• 理论分析依赖于法向扇形（normal fans）与多面体上的仿射映射的性质，证明解集为多面体结构，并在有限多个区域上保持恒定。

实验结果

研究问题

• RQ1 在一般部分监控框架下，是否可以在不对信号结构施加强假设的前提下，将内部遗憾最优地限制在 $O(n^{-1/3})$？
• RQ2 校准算法是否可超越沃罗诺伊图的限制，推广至拉格朗日图，以实现更低计算复杂度下的最优遗憾？
• RQ3 是否能够构造一种具有一致性且达到最优遗憾的算法，同时避免在每个阶段求解高维优化问题？
• RQ4 如何利用收益与信号依赖关系的结构，以确保部分监控中的一致性与效率？
• RQ5 与先前基于校准的方法相比，使用拉格朗日图是否能提升收敛速度并降低对离散化参数的依赖？

主要发现

• 所提出的算法实现了 $O(n^{-1/3})$ 的期望内部遗憾，这在部分监控框架中已被证明为最优。
• 该算法是首个在无需假设确定性反馈、收益与旗向量之间线性兼容性或马尔可夫结构的前提下，实现此最优速率的算法。
• 通过使用拉格朗日图替代沃罗诺伊图，该方法将校准推广至可处理收益与信号函数中非线性关系的场景。
• 与先前方法相比，计算复杂度显著降低，因为该算法在每个阶段仅需求解固定规模的线性系统。
• 证明了最优响应问题的解集为多面体结构，并在有限多个区域上保持恒定，从而支持高效实现。
• 基于布莱克韦尔可接近性（Blackwell’s approachability）的替代算法可达到相同的最优速率，但需在每个阶段求解一个固定规模的线性规划问题。