[论文解读] Polynomial-Time Approximation Schemes for Knapsack and Related Counting Problems using Branching Programs

Parikshit Gopalan, Adam R. Klivans+1 more|arXiv (Cornell University)|Aug 18, 2010

Machine Learning and Algorithms参考文献 10被引用 23

一句话总结

本文提出了首个针对0-1背包问题、多维背包问题、整数权值背包问题以及行数较少的列联表问题的确定性多项式时间近似方案（PTAS）。该方法利用在精心选择的概率分布下构造的小宽度、仅读一次的分支程序（ROBPs）来近似解空间，从而实现在n、log W和1/ε的多项式时间内，以(1+ε)倍的乘法精度实现高效计数与采样。

ABSTRACT

We give a deterministic, polynomial-time algorithm for approximately counting the number of {0,1}-solutions to any instance of the knapsack problem. On an instance of length n with total weight W and accuracy parameter eps, our algorithm produces a (1 + eps)-multiplicative approximation in time poly(n,log W,1/eps). We also give algorithms with identical guarantees for general integer knapsack, the multidimensional knapsack problem (with a constant number of constraints) and for contingency tables (with a constant number of rows). Previously, only randomized approximation schemes were known for these problems due to work by Morris and Sinclair and work by Dyer. Our algorithms work by constructing small-width, read-once branching programs for approximating the underlying solution space under a carefully chosen distribution. As a byproduct of this approach, we obtain new query algorithms for learning functions of k halfspaces with respect to the uniform distribution on {0,1}^n. The running time of our algorithm is polynomial in the accuracy parameter eps. Previously even for the case of k=2, only algorithms with an exponential dependence on eps were known.

研究动机与目标

• 开发首个针对#P难计数问题（如背包问题和多维背包问题）的确定性多项式时间近似方案。
• 将这些算法扩展至整数权值背包问题以及具有常数行数的列联表问题。
• 在预处理阶段后提供高效的采样算法。
• 在均匀分布、对称分布和乘积分布下，以1/ε的多项式依赖关系学习k个半空间的函数。

提出的方法

• 构造在所选分布下能最小化近似误差的小宽度、仅读一次的分支程序（ROBPs），以近似解空间。
• 采用贪心的逐层构造方法，每一层维护一组前缀的代表性集合，其在距离度量d(fx, fy)下的距离有界。
• 通过采样随机后缀，对距离d(fx◦b, fy)进行随机估计，并利用切尔诺夫不等式确保高概率下的误差界限。
• 应用Dyer的舍入技术，将多维背包计数问题转化为非均匀分布下的单维背包计数问题。
• 利用半空间是(ε, 1/ε, n)-近似ROBPs的事实，使在均匀分布和乘积分布下的学习成为可能。
• 结合近似ROBPs的结果与组合引理，证明k个半空间的函数是(2kε, W^k, n)-近似ROBPs。

实验结果

研究问题

• RQ1 能否设计出确定性多项式时间算法，实现对标准背包问题的(1+ε)-近似计数？
• RQ2 此类算法能否扩展至具有常数个约束的多维背包问题？
• RQ3 该框架能否应用于整数权值背包问题和行数较少的列联表问题？
• RQ4 能否在均匀分布和乘积分布下，以1/ε的多项式依赖关系高效学习k个半空间的函数？
• RQ5 能否利用小宽度分支程序在预处理后设计高效的采样算法？

主要发现

• 该算法在O(n³ log W log(n/ε)/ε)时间内计算出|KNAP(a,b)|的(1+ε)倍乘法近似，标志着该问题首个确定性PTAS的实现。
• 对于具有k个约束的多维背包问题，该算法运行时间为O((n/ε)^{O(k²)} log W)，提供确定性PTAS。
• 对于整数权值背包问题，该算法运行时间为O(n⁵ (log U)² log W / ε²)，实现确定性FPTAS。
• 对于具有m行的列联表，该算法运行时间为(n^{O(m)} (log R)/ε)^m，实现确定性FPTAS。
• 该框架使得在均匀分布和乘积分布下，以1/ε的多项式时间依赖关系学习k个半空间的函数成为可能，优于以往的指数依赖。
• 所有计数算法同时支持高效采样：在预处理后，每个新样本可在近乎线性时间内生成。