[논문 리뷰] Approximate Model Counting: Is SAT Oracle More Powerful Than NP Oracle?

Chakraborty, Diptarka, Chakraborty, Sourav외 2명|arXiv (Cornell University)|2023. 01. 01.

SARS-CoV-2 detection and testing인용 수 3

한 줄 요약

이 논문은 통계적 추정에서 알고리즘에 의존하지 않는 불가능성 결과를 확립하기 위해 Fano의 부등식 및 그 변종에 대한 종합적인 조사 보고서를 제공한다. Fano의 부등식, 상호정보량의 경계 및 감소 기법을 조합함으로써 이는 이산 및 연속 설정 모두에서 날카운 최대위험 하한을 도출할 수 있음을 보여주며, 이는 군집 테스팅, 그래픽 모델 선택, 희소 회귀, 밀도 추정, 볼록 최적화를 포함한다.

ABSTRACT

Given a Boolean formula ϕ over n variables, the problem of model counting is to compute the number of solutions of ϕ. Model counting is a fundamental problem in computer science with wide-ranging applications in domains such as quantified information leakage, probabilistic reasoning, network reliability, neural network verification, and more. Owing to the #P-hardness of the problems, Stockmeyer initiated the study of the complexity of approximate counting. Stockmeyer showed that log n calls to an NP oracle are necessary and sufficient to achieve (ε,δ) guarantees. The hashing-based framework proposed by Stockmeyer has been very influential in designing practical counters over the past decade, wherein the SAT solver substitutes the NP oracle calls in practice. It is well known that an NP oracle does not fully capture the behavior of SAT solvers, as SAT solvers are also designed to provide satisfying assignments when a formula is satisfiable, without additional overhead. Accordingly, the notion of SAT oracle has been proposed to capture the behavior of SAT solver wherein given a Boolean formula, an SAT oracle returns a satisfying assignment if the formula is satisfiable or returns unsatisfiable otherwise. Since the practical state-of-the-art approximate counting techniques use SAT solvers, a natural question is whether an SAT oracle is more powerful than an NP oracle in the context of approximate model counting. The primary contribution of this work is to study the relative power of the NP oracle and SAT oracle in the context of approximate model counting. The previous techniques proposed in the context of an NP oracle are weak to provide strong bounds in the context of SAT oracle since, in contrast to an NP oracle that provides only one bit of information, a SAT oracle can provide n bits of information. We therefore develop a new methodology to achieve the main result: a SAT oracle is no more powerful than an NP oracle in the context of approximate model counting.

연구 동기 및 목표

• Fano의 부등식을 이용한 알고리즘에 의존하지 않는 통계적 추정의 불가능성 결과 유도를 위한 통합 프레임워크 제공.
• 정확한 매개변수 식별이 아닌 근사 복원 설정으로 Fano의 부등식을 확장하여 정확도 요구가 완화된 문제에 대한 하한을 도출.
• 커버링 논증을 통해 연속 문제를 이산 가설 검정으로 감소시켜 이산 및 연속 추정 문제 간의 다리를 놓기.
• 고차원 및 노이즈가 있는 설정을 포함한 다양한 통계 문제에서 Fano의 부등식의 유용성 입증.
• 정보이론적 도구를 사용하여 희소 선형 회귀, 밀도 추정, 볼록 최적화와 같은 핵심 문제에 대한 최대위험 하한 설정.

제안 방법

• 감소 프레임워크를 통해 통계적 추정 문제를 다중 가설 검정으로 감소시킴.
• Fano의 부등식을 적용하여 가설 검정에서의 오류 확률을 상호정보량과 연결하여 경계함.
• 데이터 처리 부등식 및 텐서화를 사용하여 고차원 또는 i.i.d. 설정에서의 상호정보량을 경계함.
• KL 발산 기반 상호정보량 경계를 사용하여 노이즈가 있거나 파rametric 모델을 분석함.
• 커버링 논증을 통해 이산화함으로써 연속 매개변수 공간에 대한 국소 최대위험 접근법을 적용함.
• 거리 임계값을 도입하여 Fano의 부등식을 근사 복원에 적응시켜 유한한 추정 오차가 허용되는 설정에서의 하한을 도출함.

실험 결과

연구 질문

• RQ1 Fano의 부등식은 정확한 매개변수 식별이 아닌 근사 복원을 다룰 수 있도록 어떻게 확장될 수 있는가?
• RQ2 고차원 통계 모델에서 Fano의 부등식이 날카운 최대위험 하한을 도출할 수 있는 최소 조건은 무엇인가?
• RQ3 연속 추정 문제를 불가능성 분석을 위해 이산 가설 검정으로 얼마나 잘 감소시킬 수 있는가?
• RQ4 데이터 처리 및 텐서화를 통한 상호정보량 경계는 Fano 기반 하한의 날카움을 어떻게 향상시키는가?
• RQ5 희소 회귀나 볼록 최적화와 같은 설정에서 Fano의 부등식은 비점근적이고 정보이론적으로 최적의 하한을 도출할 수 있는가?

주요 결과

• 근사 복원을 고려한 Fano의 부등식은 주어진 거리 내의 매개변수 집합의 크도 로그를 포함한 하한을 도출하며, 이는 유연한 추정 설정에서의 하한 도출을 가능하게 한다.
• 비적응 설계를 가진 군집 테스팅의 경우 정확한 복원에 대해 순서 k log(p/k)의 최대위험 하한을 유도하였으며, 기존의 성취 가능성 결과와 일치한다.
• 희소 선형 회귀에서, 서브-가우시안 노이즈 하에서 p차원 공간 내 s-희소 벡터의 최대위험 하한은 적어도 s log(p/s)의 순서로 나타난다.
• 홀더 클래스에서의 밀도 추정의 경우 최대위험 하한은 부드러움과 차원에 따라 달라지는 비율로 아래에서 경계되며, 기존의 비점근적 결과와 일치한다.
• 노이즈가 있는 오라클 접근을 가진 볼록 최적화에서, ϵ-최적화를 달성하기 위해 필요한 쿼리 수의 하한을 설정하였으며, M개의 후보 함수에 대해 Ω(log M)의 쿼리 수가 필수적임을 보였다.
• 감소 프레임워크를 통해 연속 최대위험 추정 문제를 이산 가설 검정으로 변환할 수 있으며, 많은 경우에서 상수 요소까지 날카운 하한을 도출할 수 있다.