[논문 리뷰] Sparse Hashing for Scalable Approximate Model Counting: Theory and Practice

Kuldeep S. Meel, S. Akshay|arXiv (Cornell University)|2020. 04. 30.

Bayesian Modeling and Causal Inference참고 문헌 31인용 수 5

한 줄 요약

이 논문은 새로운 종류의 집중된 해시 함수를 통해 희소 해싱을 도입하여 SAT 기반 알고리즘에서의 근사 모델 수세기의 속도를 향상시킨다. 저확률 변수 선택($p = \mathcal{O}(\log_2 m / m)$)을 통해 XOR 제약 조건 크기를 줄임으로써, 이론적 보장 수준이 2-유니버설 해싱과 유사한 강력한 이론적 보장과 함께 최대 10배의 성능 향상을 달성한다. 이는 $\varepsilon_{\text{obs}}$ 평균이 0.05인 1893개의 벤치마크에서 검증되었다.

ABSTRACT

Given a CNF formula F on n variables, the problem of model counting or #SAT is to compute the number of satisfying assignments of F . Model counting is a fundamental but hard problem in computer science with varied applications. Recent years have witnessed a surge of effort towards developing efficient algorithmic techniques that combine the classical 2-universal hashing with the remarkable progress in SAT solving over the past decade. These techniques augment the CNF formula F with random XOR constraints and invoke an NP oracle repeatedly on the resultant CNF-XOR formulas. In practice, calls to the NP oracle calls are replaced a SAT solver whose runtime performance is adversely affected by size of XOR constraints. The standard construction of 2-universal hash functions chooses every variable with probability p = 1/2 leading to XOR constraints of size n/2 in expectation. Consequently, the challenge is to design sparse hash functions where variables can be chosen with smaller probability and lead to smaller sized XOR constraints. In this paper, we address this challenge from theoretical and practical perspectives. First, we formalize a relaxation of universal hashing, called concentrated hashing and establish a novel and beautiful connection between concentration measures of these hash functions and isoperimetric inequalities on boolean hypercubes. This allows us to obtain (log m) tight bounds on variance and dispersion index and show that p = O( log(m)/m ) suffices for design of sparse hash functions from {0, 1}^n to {0, 1}^m. We then use sparse hash functions belonging to this concentrated hash family to develop new approximate counting algorithms. A comprehensive experimental evaluation of our algorithm on 1893 benchmarks demonstrates that usage of sparse hash functions can lead to significant speedups.

연구 동기 및 목표

• CNF-XOR 공식에서 큰 XOR 제약 조건으로 인해 발생하는 근사 모델 수세기의 성능 저하 문제를 해결하기 위해.
• 효율적인 CNF-XOR 공식에 대한 SAT 해법을 가능하게 하는 강력한 농도 성질을 유지하는 희소 해시 함수를 설계하기 위해.
• 해시 함수의 농도와 부울 하이퍼큐브 상의 등면적 부등식 간의 이론적 기반을 설정하기 위해.
• 희소 해시 함수를 사용하여 새로운 근사 모델 수세기 ApproxMC5를 구현하고 실증 평가하기 위해.
• 희소 해싱이 근사 품질을 희생시키지 않고도 실용적인 성능 향상을 이끌 수 있음을 보여주기 위해.

제안 방법

• 2-유니버설 해싱의 일반화로 간주되는 $(\rho, \mathsf{qs}, k)$-농도 해시 함수를 도입하여 분산 지수 $\rho$ 가 제한됨을 보장한다.
• 해시 함수의 농도 측정치와 부울 하이퍼큐브 상의 등면적 부등식 간의 관계를 수식화하여 날카운 변동성 한계를 도출한다.
• 각 변수가 선택 확률 $p_i = \mathcal{O}(\log_2 i / i)$ 로 선택되는 희소 해시 함수 $\mathcal{H}^k_{\text{Rennes}}$ 를 구성한다.
• 실제 ApproxMC5 활용을 위해 분석적으로 최적화된 파rameter를 가진 변형 $\mathcal{H}^{\text{lsa}}_{\text{Rennes}}$ 를 구현한다.
• ApproxMC4의 밀도 있는 2-유니버설 해싱을 ApproxMC5에서 희소 농도 해싱으로 대체하여 XOR 제약 조건 크기를 줄이고 SAT 솔버 성능을 향상시킨다.
• 해당 솔루션 수의 로그 비례로 XOR 수가 조절되는 임계값 기반 샘플링 전략을 사용하여 희소성과 정확도의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 낮은 변수 선택 확률을 가진 희소 해시 함수가 정확한 근사 모델 수세기 위해 충분한 농도 성질을 유지할 수 있는가?
• RQ2 해시 함수의 농도와 부울 하이퍼큐브의 등면적 성질 간의 이론적 관계는 무엇인가?
• RQ3 희소 XOR 제약 조건의 사용이 근사 모델 수세기 파이프라인 내 SAT 솔버의 런타임에 어떤 영향을 미치는가?
• RQ4 희소 해싱이 밀도 있는 2-유니버설 해싱 대비 이론적 보장과 실용적 성능 향상을 동시에 달성할 수 있는가?
• RQ5 XOR의 희소성과 근사 과정에서 필요한 SAT 쿼리 수 사이의 상호 교환 관계는 무엇인가?

주요 결과

• ApproxMC5는 희소 농도 해싱을 사용하여 1893개의 벤치마크에서 ApproxMC4 대비 중앙값 기준 3.2배, 최대 10배의 성능 향상을 달성한다.
• ApproxMC4가 타임아웃한 23%의 벤치마크에 대해서도 ApproxMC5는 성공적으로 추정치를 계산하여 확장성 향상을 입증한다.
• 모든 벤치마크에서 관측된 오차 내성 $\varepsilon_{\text{obs}}$ 평균은 0.05로, 이론적 보장 수준인 0.8보다 훨씬 낮다.
• 성능 향상은 해답 수의 로그와 강하게 상관되며, 해답 수가 많을수록 희소성이 증가함에 따라 더 큰 성능 향상이 발생한다.
• 이론적 보장이 강력하게 유지되며, 수세기 변수의 분산 지수는 상수 $\rho$ 로 제한되어 있어 분산 제어가 보장된다.
• 이론적 분석을 통해 $\{0,1\}^n$ 에서 $\{0,1\}^m$ 으로의 유효한 농도 해시 함수를 구성하기 위해 $p = \mathcal{O}(\log_2 m / m)$ 가 충분함을 확인하였다.