[논문 리뷰] Analysing Survey Propagation Guided Decimation on Random Formulas

Samuel Hetterich|arXiv (Cornell University)|2016. 02. 22.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 12

한 줄 요약

이 논문은 무작위 k-SAT 공식을 해결하기 위한 히우리스틱 알고리즘인 서베이 전파 가이드드 디메이션(SPGBD)을 철저히 분석한다. 이는 문장-변수 비율이 $ 2^k(1 + \varepsilon_k)\ln k / k $를 초과할 경우, 높은 확률로 만족 가능한 할당을 찾지 못함을 증명한다. 여기서 $ \varepsilon_k \to 0 $이며 $ k \to \infty $일 때 성립한다. 이는 만족 가능성 임계값 $ r_{k\text{-SAT}} \sim 2^k \ln 2 $에서 약 $ k $ 배의 요인만큼 뒤처진다.

ABSTRACT

Let $\varPhi$ be a uniformly distributed random $k$-SAT formula with $n$ variables and $m$ clauses. For clauses/variables ratio $m/n \leq r_{k ext{-SAT}} \sim 2^k\ln2$ the formula $\varPhi$ is satisfiable with high probability. However, no efficient algorithm is known to provably find a satisfying assignment beyond $m/n \sim 2k \ln(k)/k$ with a non-vanishing probability. Non-rigorous statistical mechanics work on $k$-CNF led to the development of a new efficient "message passing algorithm" called \emph{Survey Propagation Guided Decimation} [Mézard et al., Science 2002]. Experiments conducted for $k=3,4,5$ suggest that the algorithm finds satisfying assignments close to $r_{k ext{-SAT}}$. However, in the present paper we prove that the basic version of Survey Propagation Guided Decimation fails to solve random $k$-SAT formulas efficiently already for $m/n=2^k(1+\varepsilon_k)\ln(k)/k$ with $\lim_{k o\infty}\varepsilon_k= 0$ almost a factor $k$ below $r_{k ext{-SAT}}$.

연구 동기 및 목표

• 무작위 k-SAT 공식에서 서베이 전파 가이드드 디메이션(SPGBD)의 성능을 엄밀하게 평가하는 것.
• SPGBD가 만족 가능한 할당을 효율적으로 찾을 수 있는 문장-변수 비율의 최대치를 결정하는 것.
• 알고리즘 임계값(기존 알고리즘이 성공하는 영역)과 만족 가능성 임계값(공식이 거의 확실히 만족 가능한 영역) 사이의 격차를 좁히는 것.
• 고밀도에서 발생하는 군집화되고 얼어붙은 단계에서 SPGBD의 실패 메커니즘을 분석하는 것.
• SPGBD의 알고리즘적 한계에 대한 공식적이고 비히우리스틱인 설명을 제공하는 것.

제안 방법

• SPGBD를 $ n $개의 변수와 $ m = \lceil rn \rceil $개의 문장을 가진 균일하게 무작위로 생성된 k-CNF 공식에 적용하는 랜덤 알고리즘으로 분석한다.
• 두 수준의 확률 모델을 사용한다: 공식 생성의 랜덤성과 알고리즘 내부의 동전 던지기 랜덤성.
• 클라우즈 겹침과 변수의 차수의 변동성을 제어하기 위해 농도 부등식(체르노프 부등식)을 적용한다.
• 변수 쌍의 影響과 그 상관관계를 모델링하기 위해 행렬 노름 분석과 스펙트럼 분해를 사용한다.
• 영향 행렬 $ \Lambda $를 구성요소 $ \Lambda^{ijL} $로 분해하여, 크기가 $ L $인 문장들 사이의 변수 쌍을 추적한다.
• 모든 가능한 변수 쌍과 문장 크기에 대한 유니온 바운드를 사용하여 총 영향력을 제한하고 실패 확률을 확립한다.

실험 결과

연구 질문

• RQ1 SPGBD가 만족 가능한 할당을 비영확률로 찾을 수 있는 문장-변수 비율 $ r $의 최대치는 얼마인가?
• RQ2 SPGBD는 만족 가능성 임계값 $ r_{k\text{-SAT}} \sim 2^k \ln 2 $ 근처에서 성공하는가, 아니면 훨씬 이르기 전에 실패하는가?
• RQ3 얼어붙은 군집과 장거리 상관관계는 SPGBD의 실패에 어떤 역할을 하는가?
• RQ4 SPGBD의 성능는 엄밀하게 경계를 정할 수 있으며, 공식이 만족 가능하더라도 $ n $에 대해 지수적으로 실패하는가?
• RQ5 큰 $ k $에 대해 SPGBD의 알고리즘 임계값과 진정한 만족 가능성 임계값 사이에 근본적인 격차가 존재하는가?

주요 결과

• SPGBD는 $ r \geq 2^k(1 + \varepsilon_k)\ln k / k $일 경우, 만족 가능한 할당을 찾지 못할 확률이 최대 $ \exp(-\Omega(n)) $ 이하이다. 여기서 $ \varepsilon_k \to 0 $이며 $ k \to \infty $일 때 성립한다.
• 실패 확률은 $ n $에 대해 지수적으로 작아지므로, 조건부로는 하위지수적 반복조차도 거의 확실히 성공하지 못한다.
• 알고리즘은 만족 가능성 임계값 $ r_{k\text{-SAT}} \sim 2^k \ln 2 $보다 훨씬 이르기까지 실패한다. 특히 약 $ k $ 배의 요인만큼 뒤처진다.
• 실패의 근본 원인은 고밀도에서 나타나는 군집화되고 얼어붙은 해의 구조를 탐색하지 못하는 알고리즘의 능력 부족에 있다.
• 분석을 통해 SPGBD는 $ r \sim 2^k \ln k / k $를 초과해도 무작위 k-SAT을 효율적으로 해결하지 못하며, 이는 소규모 $ k $에 대한 경험적 성공에도 불구하고 성립한다.
• 증명은 영향 행렬의 스펙트럼 노름을 제어하고, 얼어붙은 영역에서 변수 쌍의 상관관계가 알고리즘의 제어를 벗어나 증가함을 보여준다.