[논문 리뷰] Boosting Decision Diagram-Based Branch-And-Bound by Pre-Solving with Aggregate Dynamic Programming

Vianney Coppé, Xavier Gillard외 1명|arXiv (Cornell University)|2022. 11. 22.

Formal Methods in Verification참고 문헌 50인용 수 2

한 줄 요약

이 논문은 결정도 기반 분할 정복(DD-B&B)을 위한 캐싱 메커니즘을 제안하며, 집합적 동적 프로그래밍을 통한 사전 계산을 통해 검색을 가속화한다. 유연한 및 제한된 결정도로부터 도출된 지배성 및 잘라내기 임계값을 저장하여 중복된 노드 전개를 방지함으로써, 탐색된 노드 수를 크게 줄이고, 좁은 결정도로 더 어려운 최적화 인스턴스를 더 빠르게 해결할 수 있다.

ABSTRACT

Discrete optimization problems expressible as dynamic programs can be solved by branch-and-bound with decision diagrams. This approach dynamically compiles bounded-width decision diagrams to derive both lower and upper bounds on unexplored parts of the search space, until they are all enumerated or discarded. Assuming a minimization problem, relaxed decision diagrams provide lower bounds through state merging while restricted decision diagrams obtain upper bounds by excluding states to limit their size. As the selection of states to merge or delete is done locally, it is very myopic to the global problem structure. In this paper, we propose a novel way to proceed that is based on pre-solving a so-called aggregate version of the problem with a limited number of states. The compiled decision diagram of this aggregate problem is tractable and can fit in memory. It can then be exploited by the original branch-and-bound to generate additional pruning and guide the compilation of restricted decision diagrams toward good solutions. The results of the numerical study we conducted on three combinatorial optimization problems show a clear improvement in the performance of DD-based solvers when blended with the proposed techniques. These results also suggest an approach where the aggregate dynamic programming model could be used in replacement of the relaxed decision diagrams altogether.

연구 동기 및 목표

• 동적 프로그래밍 공식화의 본질적 부분 문제 재사용성으로 인해 발생하는 결정도 기반 분할 정복(DD-B&B)에서의 반복적 부분 문제 탐색의 비효율성을 해결한다.
• 기존 DD-B&B의 한계를 극복한다. 즉, 근사적 결정도(유연하고 제한된)가 겹치는 탐색 영역에서 작업을 재계산하여 중복 계산이 발생하기 때문이다.
• 유연하고 제한된 DD 컴파일 과정에서 관찰된 지배성 및 잘라내기 관계로부터 유도된 확장 임계값을 저장하는 공유 및 지속 가능한 캐시를 개발한다.
• 최적의 우선순위 순서로 탐색을 수행하면서도 이전에 방문한 동적 프로그래밍(DP) 상태의 재전개를 방지함으로써, 효율성과 탐색 지도 기능의 이점을 동시에 확보한다.
• 특히 DP 공식화에서 동형 부분수열을 포함하는 문제들에 대해, DD-B&B의 확장성과 성능을 향상시킨다.

제안 방법

• 각 DP 상태당 두 가지 유형의 임계값을 저장하는 공유 캐시를 유지한다: 유연한 DD에서 유도된 부분 해의 지배성 기반 임계값과, 국소 및 유연한 상한값에서 유도된 잘라내기 기반 임계값.
• 지배성 임계값을 사용하여 새로운 부분 해가 이전에 발견된 해에 의해 지배되는지 확인하고, 즉시 잘라내기 작업을 수행한다.
• Gillard 등(2021a)의 필터링 기법에서 유도된 잘라내기 임계값, 즉 국소 상한값(LocBs)과 유연한 상한값(RUBs)을 사용하여, 나중에 전개될 노드를 사전에 잘라내기 위해 사용한다.
• 두 가지 유형의 임계값을 통합된 잘라내기 메커니즘에 통합하여, 노드 전개 시점에 현재 DP 상태가 이미 더 나은 또는 동일한 해로 탐색된 바가 있는지 확인한다.
• DP 모델의 구조를 활용하여, 유연하고 제한된 DD 컴파일 과정 중에 사전에 임계값을 계산하고 캐시하여, 여러 B&B 노드 전개 간에 재사용할 수 있도록 한다.
• 최적 우선순위 B&B 탐색 중에 캐시를 적용함으로써, 너비 우선 탐색이 아닐 경우에도 이전에 방문하지 않은 DP 상태에 해당하는 노드만 전개되도록 보장한다.

실험 결과

연구 질문

• RQ1 이전 DD 컴파일에서 유도된 정보를 캐싱함으로써, DD-B&B에서 반복적인 부분 문제 탐색 문제를 완화할 수 있는가?
• RQ2 유연하고 제한된 DD에서 유도된 지배성 및 잘라내기 임계값은 탐색 지도 기능을 훼손하지 않고 DD-B&B의 잘라내기 능력을 어느 정도 향상시킬 수 있는가?
• RQ3 캐시된 임계값을 최적 우선순위 B&B 프레임워크에 통합했을 때, 기존 DD-B&B 및 MIP 솔버에 비해 성능이 유지되거나 향상되는가?
• RQ4 노드 탐색 감소로 인한 성능 향상에 비해, 캐시 유지에 따른 메모리 오버헤드는 어느 정도인가?
• RQ5 캐싱 메커니즘이 특히 DP 공식화에서 동형 부분수열을 포함하는 문제들에 대해, 어려운 최적화 인스턴스의 해결에 상당한 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 캐싱 메커니즘인 B&B+C는 이전에 유연하고 제한된 DD 컴파일에서 유도된 지배성 및 잘라내기 임계값을 재사용함으로써, DD-B&B에서 전개되는 노드 수를 크게 줄였다.
• B&B+C는 고전적 DD-B&B보다 더 많은 벤치마크 인스턴스를 최적해로 해결했으며, 특히 TSPTW, PSP, SRFLP의 어려운 인스턴스에서 성능 향상이 뚜렷했다. 메모리 제약 조건 하에서도 동일한 성능 향상을 기록했다.
• 해결되지 않은 인스턴스에 대해서도, B&B+C는 Gurobi에 비해 더 낫거나 80% 이상의 더 나은 최적성 갭을 달성했다. 동일한 어려운 인스턴스에서 Gurobi는 훨씬 열 劣한 갭 성능를 보였다.
• B&B+C의 메모리 소비는 고전적 B&B와 유사하거나 더 낮았으며, 잘라내기 효과로 인해 결정도가 더 흐물어져 전체 메모리 사용량이 감소했기 때문이다.
• B&B+C는 어려운 인스턴스에서 더 빠른 수렴을 이끌어내었으며, 이는 나머지 계산 자원이 더 효율적으로 활용되고 있음을 시사한다. 최적성 갭이 작을 때조차도 마찬가지다.
• 특히 DP 공식화에서 동형 부분수열을 포함하는 문제들에 대해 이 메서드는 매우 효과적이며, 캐시된 임계값의 재사용이 최대의 이점을 제공한다.