[论文解读] Approximation Algorithms for Correlated Knapsacks and Non-Martingale Bandits

Anupam Gupta, Ravishankar Krishnaswamy+2 more|arXiv (Cornell University)|Feb 18, 2011

Optimization and Search Problems参考文献 8被引用 16

一句话总结

本文提出了相关奖励与大小的随机背包问题以及不满足鞅性质的预算学习问题的首个常数因子近似算法。通过引入新颖的时间索引线性规划松弛方法，并采用基于分解的舍入策略，结合间隙填充与隐式策略树技术，将分数解转化为具有可证明性能保证的自适应、随机调度策略。

ABSTRACT

In the stochastic knapsack problem, we are given a knapsack of size B, and a set of jobs whose sizes and rewards are drawn from a known probability distribution. However, we know the actual size and reward only when the job completes. How should we schedule jobs to maximize the expected total reward? We know O(1)-approximations when we assume that (i) rewards and sizes are independent random variables, and (ii) we cannot prematurely cancel jobs. What can we say when either or both of these assumptions are changed? The stochastic knapsack problem is of interest in its own right, but techniques developed for it are applicable to other stochastic packing problems. Indeed, ideas for this problem have been useful for budgeted learning problems, where one is given several arms which evolve in a specified stochastic fashion with each pull, and the goal is to pull the arms a total of B times to maximize the reward obtained. Much recent work on this problem focus on the case when the evolution of the arms follows a martingale, i.e., when the expected reward from the future is the same as the reward at the current state. What can we say when the rewards do not form a martingale? In this paper, we give constant-factor approximation algorithms for the stochastic knapsack problem with correlations and/or cancellations, and also for budgeted learning problems where the martingale condition is not satisfied. Indeed, we can show that previously proposed LP relaxations have large integrality gaps. We propose new time-indexed LP relaxations, and convert the fractional solutions into distributions over strategies, and then use the LP values and the time ordering information from these strategies to devise a randomized adaptive scheduling algorithm. We hope our LP formulation and decomposition methods may provide a new way to address other correlated bandit problems with more general contexts.

研究动机与目标

• 解决奖励与大小相关且允许任务取消的随机背包问题，此类设置下先前的常数因子近似方法失效。
• 将近似技术扩展至不满足鞅性质的预算学习问题，该假设在以往工作中普遍存在。
• 通过引入新的时间索引线性规划形式，克服现有线性规划松弛在相关性与非鞅性设置下的巨大整数规划间隙。
• 设计一种多项式时间、随机化的自适应算法，通过隐式策略树构造与间隙填充，实现常数因子近似。
• 提供一个通用框架，可适用于更广泛的关联 bandits 问题类别，而不仅限于本文研究的具体问题。

提出的方法

• 提出新的时间索引线性规划松弛，以捕捉相关随机背包与预算学习问题中随时间变化的依赖关系与状态转移。
• 引入分解与“间隙填充”技术，将分数线性规划解转化为自适应策略的概率分布，确保可行性与性能保证。
• 设计一种隐式策略树表示（DT），通过按需从紧凑的策略DAG（D）生成路径，避免指数级膨胀，实现多项式时间执行。
• 设计一种隐式模拟算法（ImplicitPlay），其行为等价于完整树遍历，但直接在DAG上运行，动态维护时间和状态信息。
• 利用分数解中的时间顺序与线性规划值，指导随机化的自适应调度决策，确保期望收益在最优解的常数因子范围内。
• 证明隐式算法与完整树模拟（ImplicitFill）之间的等价性，通过定理5.5建立正确性与常数因子近似。

实验结果

研究问题

• RQ1 当奖励与大小相关时，能否设计出随机背包问题的常数因子近似算法？
• RQ2 现有线性规划松弛在相关性或可取消的随机背包问题中的表现如何？能否加以改进？
• RQ3 能否将近似算法扩展至不满足鞅性质的预算学习问题？
• RQ4 如何构建时间索引线性规划松弛，以建模在不确定性和相关性下的自适应决策？
• RQ5 是否可能在不显式构建指数级庞大的策略树的情况下，高效模拟自适应策略？

主要发现

• 本文首次提出针对奖励与大小相关的随机背包问题的常数因子近似算法，克服了先前方法的局限性。
• 在存在相关性或非鞅动力学时，现有随机背包与预算学习问题的线性规划松弛存在巨大的整数规划间隙。
• 所提出的时序索引线性规划松弛通过捕捉自适应决策中的时间与状态依赖关系，实现了常数因子近似。
• 间隙填充与分解方法成功地将分数线性规划解转化为自适应策略的概率分布，损失有界。
• 隐式策略树构造实现了在不显式枚举的情况下对自适应策略的多项式时间模拟，同时保持正确性与性能保证。
• 最终算法 ImplicitPlay 在多项式时间内运行，并通过在紧凑DAG表示上按需模拟完整策略树，实现常数因子近似。