[论文解读] How the Experts Algorithm Can Help Solve LPs Online

Anupam Gupta, Marco Molinaro|arXiv (Cornell University)|Jan 1, 2014

Optimization and Search Problems参考文献 19被引用 3

一句话总结

本文提出了一种在随机顺序模型下求解混合打包/覆盖线性规划（LP）的原始-对偶在线算法，通过黑箱方式使用专家算法构建对偶解，从而确保(1−ε)-近似保证。关键贡献在于，即使在存在覆盖约束的情况下，也能通过后悔最小化、鞅集中不等式和最大不等式，实现最优的Ω(ε⁻² log m)右端项缩放要求，从而在高概率下实现高效且可产生整数解的在线LP求解。

ABSTRACT

We consider the problem of solving packing/covering LPs online, when the columns of the constraint matrix are presented in random order. This problem has received much attention: the main open question is to figure out how large the right-hand sides of the LPs have to be (compared to the entries on the left-hand side of the constraint) to get (1 + <em>ε</em>)-approximations online? It is known that the RHS has to be Ω(<em>ε</em> − 2 log<em>m</em>) times the left-hand sides, where <em>m</em> is the number of constraints. In this paper we show how to achieve this bound for all packing LPs, and also for a wide class of mixed packing/covering LPs. Our algorithms construct dual solutions using a regret-minimizing online learning algorithm in a black-box fashion, and use them to construct primal solutions. The adversarial guarantee that holds for the constructed duals help us to take care of most of the correlations that arise in the algorithm; the remaining correlations are handled via martingale concentration and maximal inequalities. These ideas lead to conceptually simple and modular algorithms, which we hope will be useful in other contexts.

研究动机与目标

• 通过为随机顺序模型下的混合打包/覆盖LP提供可证明的(1−ε)-近似保证，填补在线LP算法的空白。
• 实现相对于左端系数的最优右端项（RHS）缩放Ω(ε⁻² log m)，与已知下界一致。
• 设计一种模块化且概念简洁的算法，通过黑箱使用后悔最小化的在线学习方法构造对偶解，从而生成整数解。
• 解决在线环境中覆盖约束的挑战，此前的工作即使在i.i.d.模型下也缺乏保证。
• 在无需求解离线LP的前提下实现实际的在线LP求解，仅依赖在线列到达和对最优值的动态估计。

提出的方法

• 以黑箱方式使用专家算法生成最小化后悔的对偶解，确保对偶可行性及类似强对偶性的性质。
• 通过将高价值项与剩余LP经刮削操作后的解相结合，利用阈值机制构造原始解。
• 采用鞅集中不等式和最大不等式，控制在线决策与对偶更新所引发的相关性。
• 引入一种改进的一次性学习（mOTL）和动态学习（mDLA）算法，通过倍增时间更新自适应估计最优LP值。
• 应用刮削操作将LP简化为广义宽度为Ω(ε⁻² log m)的更小实例，通过LPviaLB算法实现(1−ε)-近似。
• 在LP上施加稳定性假设，以控制在线值估计中的方差，确保在随机顺序到达下实现可靠近似。

实验结果

研究问题

• RQ1 能否设计一种原始-对偶在线算法，在随机顺序模型下对混合打包/覆盖LP实现(1−ε)-近似，并实现最优的RHS缩放？
• RQ2 是否可能在在线LP中处理覆盖约束并提供可证明的保证，尤其是在先前工作仅处理打包或i.i.d.情形的情况下？
• RQ3 在线学习技术（如专家算法）如何用于构造对偶解，以确保原始可行性与目标值近似？
• RQ4 在随机顺序模型下，实现(1−ε)-近似的最小RHS缩放是多少？能否通过实用的在线算法实现该缩放？
• RQ5 能否在不求解离线LP的前提下实现对最优值的在线估计？在何种条件下该估计是稳定且准确的？

主要发现

• 算法LPviaLB在右端项至少为每行最大系数的Ω(log(m/δ)/ε²)倍时，以至少1−δ的概率实现对离线最优值的(1−ε)-近似。
• 在相同的RHS缩放和稳定性假设下，算法DLA以至少1−δ的概率计算出一个ε-可行解，其值至少为最优离线值的(1−ε)倍。
• 基于改进的动态学习算法mDLA，在概率至少为1−c₇δ log ε⁻¹的事件E下，可保证解的期望值至少为(1−c₈δ log ε⁻¹)opt(L)，且具有高概率可行性。
• 本文证明了在随机顺序模型下，Ω(ε⁻² log m)的RHS缩放既必要也充分，以实现(1−ε)-近似，与已知下界一致。
• LP的稳定性可确保在线值估计中方差有界，从而在无需预先知晓最优值的情况下，仍能实现可靠近似。
• 该方法具有模块化与高效性，避免了离线LP求解，生成的整数解与最优的分数离线解相比表现优异。