[논문 리뷰] Constrained Counting and Sampling: Bridging the Gap between Theory and Practice

Kuldeep S. Meel|arXiv (Cornell University)|2018. 06. 06.

Data Management and Algorithms참고 문헌 93인용 수 13

한 줄 요약

이 논문은 현대 SAT/SMT 솔버와 유니버설 해싱을 통합하여 제약 조건이 있는 수세기와 샘플링에서 이론적 보장과 실용적 성능 사이의 갭을 해소하는 새로운 해싱 기반 프레임워크를 제안한다. 제안된 도구인 ApproxMC2와 UniGen은 최대 수십만 개의 변수를 가진 공식에까지 스케일링되며, 몬테카를로 단계 없이 DNF에 대한 첫 번째 FPRAS를 달성하고, 변동성 인식 해싱을 통해 XOR 제약 조건 크기를 두 계단 정도 감소시켜 MIS를 통해 효율성을 향상시킨다.

ABSTRACT

Constrained counting and sampling are two fundamental problems in Computer Science with numerous applications, including network reliability, privacy, probabilistic reasoning, and constrained-random verification. In constrained counting, the task is to compute the total weight, subject to a given weighting function, of the set of solutions of the given constraints. In constrained sampling, the task is to sample randomly, subject to a given weighting function, from the set of solutions to a set of given constraints. Consequently, constrained counting and sampling have been subject to intense theoretical and empirical investigations over the years. Prior work, however, offered either heuristic techniques with poor guarantees of accuracy or approaches with proven guarantees but poor performance in practice. In this thesis, we introduce a novel hashing-based algorithmic framework for constrained sampling and counting that combines the classical algorithmic technique of universal hashing with the dramatic progress made in combinatorial reasoning tools, in particular, SAT and SMT, over the past two decades. The resulting frameworks for counting (ApproxMC2) and sampling (UniGen) can handle formulas with up to million variables representing a significant boost up from the prior state of the art tools' capability to handle few hundreds of variables. If the initial set of constraints is expressed as Disjunctive Normal Form (DNF), ApproxMC is the only known Fully Polynomial Randomized Approximation Scheme (FPRAS) that does not involve Monte Carlo steps. By exploiting the connection between definability of formulas and variance of the distribution of solutions in a cell defined by 3-universal hash functions, we introduced an algorithmic technique, MIS, that reduced the size of XOR constraints employed in the underlying universal hash functions by as much as two orders of magnitude.

연구 동기 및 목표

• 이론적으로 타당하지만 실용적이지 않은 제약 조건이 있는 수세기 및 샘플링 알고리즘과 정확도 보장이 약한 히وري스틱 방법 사이의 오랜 격차를 해소하기 위해.
• 실제 문제, 예를 들어 확률적 추론 및 인프라 신뢰성과 같은 대규모 실세계 문제에 대해 확장 가능하고 정확하며 효율적인 수세기 및 샘플링을 가능하게 하기 위해.
• 이론적 알고리즘의 정밀도와 현대 SAT/SMT 솔버의 성능을 결합하는 프레임워크를 개발하기 위해.
• 해싱 과정에서 XOR 제약 조건의 크기를 줄이기 위해 새로운 변동성 인식 기법(MIS)을 통해 효율성을 향상시키면서도 정확도를 훼손하지 않기 위해.
• 전력망 신뢰성 및 AI 검증과 같은 실제 응용 분야에서 프레임워크의 유용성을 입증하기 위해.

제안 방법

• 유니버설 해싱을 활용하여 제약 조건이 있는 수세기 및 샘플링 문제를 이론적 보장을 갖는 랜덤화 근사 방법을 통해 SAT/SMT 쿼리의 시퀀스로 변환한다.
• 3-유니버설 해싱과 반복적 SAT 쿼리를 사용하여 높은 신뢰도로 해답 수를 추정하는 확장 가능한 근사 모델 카운터인 ApproxMC2를 도입한다.
• 유사 균일 분포의 해답을 생성하기 위해 동일한 해싱 구조를 사용하는 균일 샘플링 프레임워크인 UniGen을 개발한다.
• 해답 분포의 변동성을 활용하여 해싱 과정에서 XOR 제약 조건의 수를 최소화하는 MIS(Minimal Independent Support) 기법을 제안한다.
• 재귀적 감소 전략을 통해 중복된 변수를 동적으로 식별하고 제거하여 제약 조건 시스템의 크기를 줄인다.
• SAT 해결과 랜덤화 해싱을 융합한 하이브리드 접근 방식을 사용하여 몬테카를로 샘플링 단계 없이 DNF 공식에 대한 FPRAS를 달성한다.

실험 결과

연구 질문

• RQ1 해싱 기반 프레임워크가 제약 조건이 있는 수세기 및 샘플링에서 이론적 보장과 실용적 확장성 모두를 달성할 수 있는가?
• RQ2 정확도나 균일성에 영향을 주지 않으면서도 유니버설 해싱에서 XOR 제약 조건의 크기를 어떻게 최소화할 수 있는가?
• RQ3 SAT/SMT 솔버는 얼마나 큰 수의 변수를 가진 공식에 대해 제약 조건이 있는 수세기 및 샘플링을 스케일링하는 데 활용될 수 있는가?
• RQ4 프레임워크는 몬테카를로 방법에 의존하지 않고도 DNF 공식에 대해 FPRAS를 제공할 수 있는가?
• RQ5 MIS 기법은 해싱 기반 수세기 및 샘플링의 계산 비용을 얼마나 효과적으로 줄일 수 있는가?

주요 결과

• ApproxMC2는 몬테카를로 단계 없이 DNF 공식에 대한 첫 번째 FPRAS를 달성하여 이론적 정확도 보장을 제공하면서도 최대 수십만 개의 변수를 가진 공식까지 스케일링된다.
• MIS 기법은 해싱 과정에서 XOR 제약 조건의 수를 최대 두 계단 정도 감소시켜 성능 향상에 기여한다.
• UniGen과 ApproxMC2는 블록맵 20 01.net과 같은 사례에서 최대 78,650개의 변수를 처리할 수 있어 이전 도구가 수백 개의 변수로 제한되었던 것에 비해 극적인 향상이다.
• 프레임워크는 높은 수준의 병렬 처리 가능성을 보이며, AI 및 검증 워크로드에 대한 고성능 컴퓨팅 자원을 효율적으로 활용할 수 있다.
• 전력망 신뢰성 및 확률적 추론과 같은 실제 응용 분야에서 이전 방법이 실패했던 곳에서도 정확하고 확장 가능하며 효율적인 솔루션을 제공한다.
• s5378a 15 7 벤치마크에서 ApproxMC2는 2,000초 이내에 해답 수를 계산할 수 있었고, 이는 이전 도구가 18,000초 이내에 완료하지 못했던 것을 고려할 때 뚜렷한 성능 향상이다.