[论文解读] Capacitated Dynamic Programming: Faster Knapsack and Graph Algorithms

Kyriakos Axiotis, Christos Tzamos|arXiv (Cornell University)|Feb 18, 2018

Optimization and Packing Problems参考文献 16被引用 10

一句话总结

本文提出了一种新颖的动态规划方法，通过利用子问题中的凹性，将0-1背包问题的时间复杂度从 O(Tn) 降低至 O(TD)，其中 D 为不同重量的数量。该方法通过消除重量或价值有界时对容量 T 的依赖，实现了背包问题及其相关图问题的更快算法，与条件性下界相匹配，并为 k-稀疏 Δ-分离序列提供了线性时间解法。

ABSTRACT

One of the most fundamental problems in Computer Science is the Knapsack problem. Given a set of n items with different weights and values, it asks to pick the most valuable subset whose total weight is below a capacity threshold T. Despite its wide applicability in various areas in Computer Science, Operations Research, and Finance, the best known running time for the problem is O(Tn). The main result of our work is an improved algorithm running in time O(TD), where D is the number of distinct weights. Previously, faster runtimes for Knapsack were only possible when both weights and values are bounded by M and V respectively, running in time O(nMV) [Pisinger'99]. In comparison, our algorithm implies a bound of O(nM^2) without any dependence on V, or O(nV^2) without any dependence on M. Additionally, for the unbounded Knapsack problem, we provide an algorithm running in time O(M^2) or O(V^2). Both our algorithms match recent conditional lower bounds shown for the Knapsack problem [Cygan et al'17, Künnemann et al'17]. We also initiate a systematic study of general capacitated dynamic programming, of which Knapsack is a core problem. This problem asks to compute the maximum weight path of length k in an edge- or node-weighted directed acyclic graph. In a graph with m edges, these problems are solvable by dynamic programming in time O(km), and we explore under which conditions the dependence on k can be eliminated. We identify large classes of graphs where this is possible and apply our results to obtain linear time algorithms for the problem of k-sparse Delta-separated sequences. The main technical innovation behind our results is identifying and exploiting concavity that appears in relaxations and subproblems of the tasks we consider.

研究动机与目标

• 为解决经典背包问题中长期存在的 O(Tn) 时间复杂度瓶颈。
• 消除在背包问题及其相关问题的动态规划中对总容量 T 的依赖。
• 识别在容量型动态规划中可消除 k 依赖性的结构条件。
• 建立一个通用框架，利用凹性与结构特性求解容量型动态规划问题。
• 与近期关于背包问题及其相关问题的条件性下界相匹配或超越。

提出的方法

• 按不同重量对物品进行分组，并对每组独立使用贪心选择求解，利用相同重量的特性实现每组 O(T) 时间复杂度。
• 利用松弛子问题及背包问题松弛形式中的凹性，设计高效算法。
• 通过变换将问题建模为具有 Monge 权重边的有向无环图（DAG）中的最大收益路径问题。
• 应用 Monge 性质与分治技术，以 O(m log n log(nM)) 时间高效计算路径。
• 构建一个具有 O(n) 条边的 DAG，保留路径结构，并为 k-稀疏 Δ-分离序列实现线性时间计算。
• 利用 Steinitz 引理推导结构特性，从而在无界背包问题中消除 T 的对数因子。

实验结果

研究问题

• RQ1 当不同重量数 D 较小时，经典背包算法的 O(Tn) 时间复杂度是否可以得到改进？
• RQ2 当重量或价值有界时，是否可能消除背包问题中对容量 T 的依赖？
• RQ3 在何种结构条件下，容量型动态规划中的 k 依赖性可以被消除？
• RQ4 能否绕过基于 (max,+) 卷积的背包问题条件性下界？
• RQ5 哪些图类允许对具有 k 条边的最大收益路径实现线性时间计算？

主要发现

• 背包问题可在 O(TD) 时间内求解，其中 D 为不同重量的数量，当 D ≪ n 时，优于 O(Tn)。
• 对于有界重量 M，算法时间复杂度为 O(nM²)；对于有界价值 V，时间复杂度为 O(nV²)，优于 Pisinger 的 O(nMV) 算法。
• 无界背包问题可在 O(M²) 或 O(V²) 时间内求解，与已知的条件性下界一致。
• 通过利用凹性与 DAG 结构，为 k-稀疏 Δ-分离序列实现了线性时间算法。
• 对于 Monge 权重边的 DAG，其 k 阶热带矩阵幂的任意行或列可在 Õ(m) 时间内计算，优于标准 DP 的 O(km)。
• 该算法与 (max,+) 卷积的条件性下界相匹配，表明在当前复杂度假设下，其近乎最优。