[논문 리뷰] How much backtracking does it take to color random graphs? Rigorous results on heavy tails

Haixia Jia, Cristopher Moore|arXiv (Cornell University)|2004. 12. 17.

Constraint Satisfaction and Optimization인용 수 8

한 줄 요약

이 논문은 희박한 무작위 그래프에서 그래프 3-색칠 문제에 대한 DPLL 알고리즘의 백트래킹 분포가 중급 꼬리 분포를 보임을 엄밀하게 증명한다. 이는 '쉬운 단계'(1 < c < 3.847)에서도 양의 확률로 지수적 실행 시간을 가지며, 나쁜 삼각형을 통한 실패 전파 분석과 분기 과정 모델링을 통해 백트래킹이 일정 확률로 지수적으로 클 수 있음을 증명한다. 이는 자연스러운 백트래킹 알고리즘에서 중급 꼬리의 첫 번째 엄밀한 증거이다.

ABSTRACT

Many backtracking algorithms exhibit heavy-tailed distributions, in which their running time is often much longer than their median. We analyze the behavior of two natural variants of the Davis-Putnam-Logemann-Loveland (DPLL) algorithm for Graph 3-Coloring on sparse random graphs G(n,p=c/n). Let P_c(b) be the probability that DPLL backtracks b times. First, we calculate analytically the probability P_c(0) that these algorithms find a 3-coloring with no backtracking at all, and show that it goes to zero faster than any analytic function as c o c^* = 3.847... Then we show that even in the ``easy'' phase 1 &lt; c &lt; c^* where P_c(0) &gt; 0, including just above the emergence of the giant component, the expected number of backtracks is exponentially large with positive probability. To our knowledge this is the first rigorous proof that the running time of a natural backtracking algorithm has a heavy tail for graph coloring. Moreover, our results show that these algorithms take exponential time, not just below the 3-colorability threshold, but just above the degree c=1 at which the giant component first appears. In addition, we give experimental evidence and heuristic arguments that this tail takes the form P_c(b) ~ b^{-1} up to an exponential cutoff.

연구 동기 및 목표

• 무작위 그래프에서 DPLL 알고리즘의 백트래킹 시간 분포에 중급 꼬리 분포가 존재함을 엄밀히 입증하는 것.
• 백트래킹 시간이 거듭제곱 법칙 행동과 지수 꼬리를 보이지만, 0 백트래킹이 양의 확률로 발생하는 이유를 분석하는 것.
• 특히 나쁜 삼각형과 같은 국소적 그래프 구조가 지수적 백트래킹을 유도하는 구조적 원인을 이해하는 것.
• 0 백트래킹 확률 및 지수적 실행 시간 발생 가능성을 위한 분석적 경계를 제공하는 것.
• 재시작 전략의 이론적 근거를 제공하기 위해, 지수적 실행 시간 발생에 양의 확률이 있음을 증명하는 것.

제안 방법

• 유닛 전파를 사용하고, 고정 순서 또는 균일한 무작위 선택을 통해 2-색칠 정점에서 분기하는 두 가지 근사 DPLL 변형(A 및 B)을 분석한다.
• 시간에 따라 변화하는 분기 비율을 갖는 분기 과정 모델로 검색 트리를 모델링하며, 나쁜 삼각형으로 인한 실패 확률을 추적한다.
• 이진 트리에서 좋은 리프의 기대 수를 기반으로 한 확률적 추론을 통해 백트래킹 수의 경계를 설정한다.
• 가중 산술 평균과 기하 평균 사이의 부등식을 적용하여 성공한(좋은) 리프 수의 하한을 도출한다.
• 0 백트래킹 확률의 통합 영역을 정의하기 위해, 1 - t - e^{-ct} = 0의 최소 양의 근 t₀를 임계 매개변수로 도입한다.
• c, λ, t₀를 포함하는 적분을 사용하여 P_c(0)의 정확한 표현을 유도하며, c → c*일 때 이 값이 어떤 해석 함수보다도 더 빠르게 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 DPLL 알고리즘이 희박한 무작위 그래프에서 그래프 3-색칠 문제에 대해 중급 꼬리 백트래킹 분포를 보이는가?
• RQ2 c < c*일 때, 알고리즘이 0 백트래킹으로 성공할 정확한 확률 P_c(0)는 얼마인가?
• RQ3 쉬운 단계에서 기대 백트래킹 수가 양의 확률로 지수적으로 클 수 있음을 엄밀히 증명할 수 있는가?
• RQ4 그래프의 어떤 구조적 특징(예: 나쁜 삼각형)이 전체 서브트리를 실패하게 하여 중급 꼬리 행동을 유도하는가?
• RQ5 백트래킹 분포의 尾행동이 점점 P_c(b) ~ b^{-1}이 되며, 이는 모델에 의해 증명되거나 지지될 수 있는가?

주요 결과

• 1 < c < c* = 3.847... 일 때, 0 백트래킹 확률은 P_c(0) = exp(−∫₀^{t₀} dt cλ² / [2(1−λ)(2+λ)]) + o(1) 으로 주어지며, 여기서 λ = (2/3)c(1−t−e^{-ct}) 이고 t₀는 1−t−e^{-ct}=0의 최소 양의 근이다.
• c가 c*에 가까워질수록 P_c(0)는 어떤 해석 함수보다도 더 빠르게 감소하므로, 임계점에서 본질적 특이점이 존재함을 나타낸다.
• β, q > 0 인 상수들이 존재하여, 두 알고리즘 변형 모두에 대해 Pr[b > 2^{βn}] ≥ q 를 만족하며, 이는 E[b] = Θ(2^{βn}) 를 의미한다.
• 0 백트래킹 성공이 가능한 경우에도, 공유된 나쁜 삼각형으로 인한 상관된 실패로 인해 지수적 백트래킹 확률이 사라지지 않는다.
• 나쁜 삼각형을 루트로 하는 전체 서브트리의 실패로 인해 백트래킹 분포는 중급 꼬리를 가지며, 지수적 실행 시간 발생에 양의 확률이 존재한다.
• 히우리스틱 및 실험적 증거는 꼬리가 P_c(b) ~ b^{-1} 으로 따라가며, 지수적 절단점까지 성립하지만, 이는 본 논문에서 엄밀히 증명되지 않았다.