[논문 리뷰] Capacitated Dynamic Programming: Faster Knapsack and Graph Algorithms

Kyriakos Axiotis, Christos Tzamos|arXiv (Cornell University)|2018. 02. 18.

Optimization and Packing Problems참고 문헌 16인용 수 10

한 줄 요약

이 논문은 하위문제에서 볼록성의 특성을 활용하여, 중복되는 무게의 수 D에 따라 Knapsack 문제의 런타임을 기존의 O(Tn)에서 O(TD)로 줄이는 새로운 동적 프로그래밍 접근법을 제시한다. 무게 또는 가치가 유계일 경우 총 용량 T에 대한 의존성을 제거함으로써 Knapsack 및 관련 그래프 문제에 대해 더 빠른 알고리즘을 구현하며, 조건부 하한선을 충족하고 k-희소 Δ-분리된 수열에 대해 선형 시간 알고리즘을 가능하게 한다.

ABSTRACT

One of the most fundamental problems in Computer Science is the Knapsack problem. Given a set of n items with different weights and values, it asks to pick the most valuable subset whose total weight is below a capacity threshold T. Despite its wide applicability in various areas in Computer Science, Operations Research, and Finance, the best known running time for the problem is O(Tn). The main result of our work is an improved algorithm running in time O(TD), where D is the number of distinct weights. Previously, faster runtimes for Knapsack were only possible when both weights and values are bounded by M and V respectively, running in time O(nMV) [Pisinger'99]. In comparison, our algorithm implies a bound of O(nM^2) without any dependence on V, or O(nV^2) without any dependence on M. Additionally, for the unbounded Knapsack problem, we provide an algorithm running in time O(M^2) or O(V^2). Both our algorithms match recent conditional lower bounds shown for the Knapsack problem [Cygan et al'17, Künnemann et al'17]. We also initiate a systematic study of general capacitated dynamic programming, of which Knapsack is a core problem. This problem asks to compute the maximum weight path of length k in an edge- or node-weighted directed acyclic graph. In a graph with m edges, these problems are solvable by dynamic programming in time O(km), and we explore under which conditions the dependence on k can be eliminated. We identify large classes of graphs where this is possible and apply our results to obtain linear time algorithms for the problem of k-sparse Delta-separated sequences. The main technical innovation behind our results is identifying and exploiting concavity that appears in relaxations and subproblems of the tasks we consider.

연구 동기 및 목표

• 고전적인 Knapsack 문제에서 오랫동안 지속된 O(Tn) 런타임 병목 현상을 극복하기 위해.
• Knapsack 및 관련 문제의 동적 프로그래밍에서 총 용량 T에 대한 의존성을 제거하기 위해.
• 용량 제약이 있는 동적 프로그래밍에서 k-의존성을 제거할 수 있는 구조적 조건을 규명하기 위해.
• 볼록성과 구조적 성질을 활용하여 용량 제약이 있는 동적 프로그래밍 문제를 해결하는 일반적인 프레임워크를 개발하기 위해.
• 최근의 Knapsack 및 관련 문제에 대한 조건부 하한선을 matching하거나 초월하기 위해.

제안 방법

• 동일한 무게를 가진 아이템들을 그룹화하고, 각 그룹을 독립적으로 그리디 선택을 통해 O(T) 시간에 해결함으로써 동일한 무게의 특성을 활용한다.
• 완화된 하위문제와 Knapsack 문제의 완화된 형태에서 볼록성을 활용하여 효율적인 알고리즘을 설계한다.
• 문제를 몽게 무게가 부여된 DAG에서 최대 보상 경로로 모델링하기 위해 변환을 적용한다.
• 몽게 성질과 분할 정복 기법을 적용하여 O(m log n log(nM)) 시간 내에 경로를 효율적으로 계산한다.
• 경로의 구조를 유지하면서 O(n)개의 간선을 가진 DAG를 구성하여, k-희소 Δ-분리된 수열에 대해 선형 시간 계산이 가능하게 한다.
• 스테이니츠 보조정리를 사용하여, 무한 Knapsack 문제에서 T에 대한 로그 인자들을 제거할 수 있는 구조적 성질를 유도한다.

실험 결과

연구 질문

• RQ1 만약 서로 다른 무게의 수 D가 작을 경우, 고전적인 Knapsack 알고리즘의 O(Tn) 런타임을 향상시킬 수 있는가?
• RQ2 무게 또는 가치가 유계일 경우, Knapsack 문제에서 총 용량 T에 대한 의존성을 제거할 수 있는가?
• RQ3 용량 제약이 있는 동적 프로그래밍에서 k-의존성을 제거할 수 있는 구조적 조건은 무엇인가?
• RQ4 (max,+)-합성에 기반한 Knapsack의 조건부 하한선을 우회할 수 있는가?
• RQ5 어떤 종류의 그래프에서 k개 간선을 가진 최대 보상 경로를 선형 시간에 계산할 수 있는가?

주요 결과

• Knapsack 문제는 D가 서로 다른 무게의 수일 때 O(TD) 시간에 해결 가능하며, D ≪ n일 경우 O(Tn)보다 향상된다.
• 유계된 무게 M에 대해 알고리즘은 O(nM²) 시간에 실행되며, 유계된 가치 V에 대해서는 O(nV²) 시간에 실행되며, Pisinger의 O(nMV) 알고리즘보다 향상된다.
• 무한 Knapsack 문제는 O(M²) 또는 O(V²) 시간에 해결되며, 기존 알려진 조건부 하한선과 일치한다.
• 볼록성과 DAG의 구조를 활용함으로써 k-희소 Δ-분리된 수열에 대해 선형 시간 알고리즘을 달성한다.
• 몽게 무게가 부여된 DAG에 대해, k번째 토프로지 행렬 거듭제곱의 임의의 행 또는 열은 Õ(m) 시간 내에 계산 가능하며, 기존 표준 DP의 O(km)보다 향상된다.
• (max,+)-합성에 대한 조건부 하한선을 충족함으로써, 현재 복잡도 가정 하에 거의 최적임을 보여준다.