[论文解读] Hierarchies of Relaxations for Online Prediction Problems with Evolving Constraints

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|Mar 4, 2015

Advanced Bandit Algorithms Research参考文献 18被引用 3

一句话总结

本文提出了一种多项式时间在线预测框架，通过使用随机走子（randomized playout）和拉塞雷（Lasserre）半定规划层级来近似难以求解的整数规划，实现了在由动态变化约束定义的组合基准集合上的低遗憾（low regret）。关键贡献在于，遗憾界（regret bound）与基准类的雷米赫（Rademacher）复杂度乘以拉塞雷层级的整数规划间隙（integrality gap）成比例，该间隙在分离成本下为 O(log κ)，在分配成本下为精确值 1。

ABSTRACT

We study online prediction where regret of the algorithm is measured against a benchmark defined via evolving constraints. This framework captures online prediction on graphs, as well as other prediction problems with combinatorial structure. A key aspect here is that finding the optimal benchmark predictor (even in hindsight, given all the data) might be computationally hard due to the combinatorial nature of the constraints. Despite this, we provide polynomial-time \emph{prediction} algorithms that achieve low regret against combinatorial benchmark sets. We do so by building improper learning algorithms based on two ideas that work together. The first is to alleviate part of the computational burden through random playout, and the second is to employ Lasserre semidefinite hierarchies to approximate the resulting integer program. Interestingly, for our prediction algorithms, we only need to compute the values of the semidefinite programs and not the rounded solutions. However, the integrality gap for Lasserre hierarchy \emph{does} enter the generic regret bound in terms of Rademacher complexity of the benchmark set. This establishes a trade-off between the computation time and the regret bound of the algorithm.

研究动机与目标

• 开发计算高效的在线预测算法，使其在由动态变化约束定义的组合基准集合上实现低遗憾。
• 通过利用半定规划松弛方法，解决在组合约束下寻找最优预测器的计算困难问题。
• 设计一种非正规学习算法（improper learning algorithm），避免计算舍入解，转而依赖半定规划的值计算。
• 建立一个依赖于基准类的雷米赫复杂度和拉塞雷层级整数规划间隙的遗憾界。
• 证明：对于特定问题（如平面图上的度量标记问题），若已知更优的整数规划间隙，可直接将其纳入遗憾界，而无需修改算法。

提出的方法

• 该方法结合随机走子以降低计算负担，以及拉塞雷半定规划层级，以近似由组合约束引发的整数规划问题。
• 算法仅计算半定规划的值，而非舍入解，从而实现高效实现。
• 遗憾界通过雷米赫复杂度推导得出，乘以拉塞雷层级的整数规划间隙，该间隙在分离成本下为 O(log κ)，在分配成本下为 1。
• 通过将先验信念编码为协变量的线性函数与图结构平滑性约束，该框架可推广至包含辅助信息的问题。
• 该方法涵盖多种问题，如多路切割（Multiway Cut）、伊辛模型（Ising model）和度量标记（metric labeling），并可复用已知的整数规划间隙。
• 理论保证通过下界分析建立：当整数规划间隙为常数时，遗憾界在常数因子范围内为最优。

实验结果

研究问题

• RQ1 我们能否在不精确求解困难整数规划的前提下，在动态变化的组合约束下实现低遗憾？
• RQ2 如何在在线设置中高效利用半定规划松弛层级来近似最优基准预测器？
• RQ3 在在线学习中使用拉塞雷层级时，计算效率与遗憾性能之间的权衡是什么？
• RQ4 拉塞雷层级的整数规划间隙能否用于推导反映约束结构复杂度的紧致遗憾界？
• RQ5 在已知约束预测器类的雷米赫复杂度下界前提下，所提出的框架在遗憾性能上是否最优？

主要发现

• 遗憾界与基准类的雷米赫复杂度乘以拉塞雷层级的整数规划间隙成比例，该间隙在分离成本下为 O(log κ)，在分配成本下为 1。
• 该算法在不计算舍入解的前提下实现低遗憾，仅依赖半定规划的值计算，从而实现多项式时间复杂度。
• 该框架适用于广泛的问题类别，包括基于图的预测、度量标记和多路切割问题，通过组合结构建模约束。
• 拉塞雷层级的整数规划间隙直接进入遗憾界，对于特定问题（如平面图）若存在更优间隙，可立即利用而无需修改算法。
• 下界分析表明，遗憾界在常数因子范围内为最优，最坏情况下的遗憾至少为 κ 倍于约束类的雷米赫复杂度。
• 该方法对辅助信息具有鲁棒性：当预测器被约束为与协变量呈线性关系时，通过适当的约束编码，框架仍能保持低遗憾。