[논문 리뷰] Quasiconvex analysis of backtracking algorithms

David Eppstein|arXiv (Cornell University)|2004. 01. 11.

Complexity and Algorithms in Graphs참고 문헌 13인용 수 53

한 줄 요약

이 논문은 NP-hard 문제에 대한 백트래킹 알고리즘에서 흔히 나타나는 다변수 재귀관계에 대해, 가중치 함수 방법과 준볼록 프로그래밍을 조합하여 날카운 점근적 상한을 도출한다. 이 상한이 진정한 해와 다항식 인자 내에 있음을 증명하고, worst-case 시간 상한을 계산하기 위해 수치적으로 정확도가 보장된 다중 기울기 경사 하강 알고리즘을 구현한다.

ABSTRACT

We consider a class of multivariate recurrences frequently arising in the worst case analysis of Davis-Putnam-style exponential time backtracking algorithms for NP-hard problems. We describe a technique for proving asymptotic upper bounds on these recurrences, by using a suitable weight function to reduce the problem to that of solving univariate linear recurrences; show how to use quasiconvex programming to determine the weight function yielding the smallest upper bound; and prove that the resulting upper bounds are within a polynomial factor of the true asymptotics of the recurrence. We develop and implement a multiple-gradient descent algorithm for the resulting quasiconvex programs, using a real-number arithmetic package for guaranteed accuracy of the computed worst case time bounds.

연구 동기 및 목표

• NP-hard 문제에 대한 Davis-Putnam 방식의 백트래킹 알고리즘에서 worst-case 시간 복잡도를 분석하는 데 도전하는 데 목적이 있다.
• 이러한 알고리즘에서 발생하는 복잡한 다변수 재귀관계에 대한 점근적 상한을 체계적으로 유도하는 기법을 개발하는 데 목적이 있다.
• 재귀관계 성장률에 대한 상한을 최소화하기 위해 가중치 함수를 준볼록 프로그래밍을 사용해 최적화하는 데 목적이 있다.
• 계산된 상한이 실제 재귀관계의 점근적 성장률과 다항식 인자 내에 있음을 보장하는 데 목적이 있다.
• 실수 연산을 사용하여 수치적으로 신뢰할 수 있는 알고리즘을 구현하여 worst-case 시간 상한을 정확하게 계산하는 데 목적이 있다.

제안 방법

• 이 방법은 다변수 재귀관계를 단일 변수 선형 재귀관계로 변환하기 위해 가중치 함수를 사용하여 분석을 단순화한다.
• 최적의 가중치 함수 선택을 준볼록 프로그래밍 문제로 공식화하여 유도된 상한을 최소화한다.
• 준볼록 프로그래밍 문제를 효율적이고 수치적으로 정확도가 보장된 다중 기울기 경사 하강 알고리즘으로 해결한다.
• 정확한 worst-case 시간 상한 계산을 위해 전체 과정에서 실수 연산을 사용한다.
• 복잡한 재귀관계 분석의 복잡도를 볼록 최적화 문제 해결으로 줄이는 데 목적이 있다.
• 유도된 상한이 실제 재귀관계의 점근적 성장률과 다항식 인자 내에 있음을 보장한다.

실험 결과

연구 질문

• RQ1 백트래킹 알고리즘에서 발생하는 다변수 재귀관계를 가중치 함수 변환을 통해 체계적으로 어떻게 상한화할 수 있는가?
• RQ2 재귀관계 성장률에 대해 가장 날카운 상한을 도출할 수 있는 가중치 함수 선택을 가능하게 하는 최적화 기법은 무엇인가?
• RQ3 준볼록 프로그래밍이 지수 시간 알고리즘 재귀관계의 상한을 효과적으로 최소화하는 데 적용될 수 있는가?
• RQ4 유도된 상한이 실제 재귀관계의 점근적 성장률과 얼마나 가까운가?
• RQ5 실제로 worst-case 시간 상한을 신뢰할 수 있고 정확하게 계산하기 위해 어떤 수치적 방법이 필요한가?

주요 결과

• 제안된 방법은 가중치 함수를 통해 복잡한 다변수 재귀관계를 다룰 수 있는 단일 변수 선형 재귀관계로 변환한다.
• 최적의 가중치 함수는 준볼록 프로그래밍을 통해 찾으며, 이는 유도된 상한을 최소화한다.
• 유도된 상한은 실제 재귀관계의 점근적 성장률과 다항식 인자 내에 있다.
• 실수 연산을 사용하는 다중 기울기 경사 하강 알고리즘은 worst-case 시간 상한의 정확하고 신뢰할 수 있는 계산을 가능하게 한다.
• 이 방법은 NP-hard 문제에 대한 백트래킹 알고리즘의 worst-case 복잡도를 분석하는 일반적이고 체계적인 프레임워크를 제공한다.
• 이 접근법은 이론적으로 날카운 상한을 보장하면서도 계산의 실현 가능성과 수치적 정확성을 유지한다.