[논문 리뷰] Uniform Sampling through the Lovász Local Lemma

Heng Guo, Mark Jerrum외 1명|arXiv (Cornell University)|2016. 11. 05.

Markov Chains and Monte Carlo Methods참고 문헌 29인용 수 7

한 줄 요약

이 논문은 라보스 조건부 레미의 원리(Lovász Local Lemma)를 활용하여 악성 사건을 피하는 조건부 제품 분포에서 정확하고 균일한 샘플링을 가능하게 하는 새로운 알고리즘 프레임워크인 '부분 거부 샘플링( partial rejection sampling)'을 소개한다. 극한 조건—의존성 있는 악성 사건이 상호 배타적일 경우—에서 모스러-타르도스 재샘플링 과정이 균일한 샘플을 생성함을 증명하고, 이를 $k$-CNF 공식과 가중치가 있는 독립 집합 등의 더 넓은 범주로 일반화하며, 시어러 조건을 충족하는 경우에 대해 증명 가능한 효율적인 평균 실행 시간을 갖는다.

ABSTRACT

We propose a new algorithmic framework, called "partial rejection sampling", to draw samples exactly from a product distribution, conditioned on none of a number of bad events occurring. Our framework builds (perhaps surprising) new connections between the variable framework of the Lovász Local Lemma and some classical sampling algorithms such as the "cycle-popping" algorithm for rooted spanning trees. Among other applications, we discover new algorithms to sample satisfying assignments of k-CNF formulas with bounded variable occurrences.

연구 동기 및 목표

• 라보스 조건부 레미의 원리 하에서 균일 샘플링의 격차를 해결하기 위해 기존의 재샘플링 알고리즘은 편향된 출력을 생성한다는 점을 다루기 위해.
• 모스러-타르도스 알고리즘이 균일하게 분포된 해를 출력하는 조건을 규명하기 위해, 특히 의존성 있는 악성 사건이 서로 배타적인 극한 사례에서의 경우를 다루기 위해.
• 의존성의 닫힘을 반복적으로 적용하는 동적 재샘플링 집합을 도입함으로써 극한 사례를 초월한 프레임워크의 일반화를 위해.
• 변수 발생 횟수가 유한한 $k$-CNF 공식과 가중치가 있는 독립 집합과 같은 어려운 문제에 대해, 시어러 조건을 충족하는 조건 하에서 정확하고 효율적인 샘플러를 제공하기 위해.
• 사이클-팝핑과 싱크-팝핑과 같은 고전적 샘플링 알고리즘들을 부분 거부 샘플링 기반의 단일 이론적 프레임워크로 통합하기 위해.

제안 방법

• 의존성 있는 악성 사건과 연결된 변수 전체 집합을 개별 변수가 아닌 전체 집합으로 재샘플링하는 '부분 거부 샘플링'을 제안한다.
• 재귀적 재샘플링 규칙을 도입: 발생한 악성 사건에서 시작하여, 변수 사 projections이 여전히 위반될 수 있는 인접한 사건들을 반복적으로 포함함으로써 닫힘 상태의 재샘플링 집합을 형성한다.
• 의존성 그래프를 사용하여 사건 간 상호작용을 모델링하고, 재샘플링 집합이 의존성 닫힘에 대해 닫혀 있도록 하여 균일성을 유지한다.
• $k$-CNF 공식에 대해 악성 사건을 절차로 정의하고, 변수 발생 횟수가 유한하며 극한 조건이 성립할 경우 균일 샘플링이 가능함을 보여준다.
• 재귀 관계와 고유값 분석을 사용하여 명시적인 평균 실행 시간 상한을 유도하며, 시어러 조건 하에서 코리팔라와 쎄게디의 상한과 일치함을 증명한다.
• 행렬 노름과 농도 분석(체르노프 불등식을 통해)을 사용하여 출력 분포가 진짜 하드코어 모델에서 벗어나면 비균일성이 발생함을 증명하고, 모든 정확한 샘플러에 대해 런타임의 하한을 설정한다.

실험 결과

연구 질문

• RQ1 모스러-타르도스 재샘플링 알고리즘이 편향된 출력이 아닌 균일하게 분포된 해를 생성하는 조건은 무엇인가?
• RQ2 라보스 조건부 레미의 원리의 변수 프레임워크 하에서, 극한 사례를 초월하여 정확한 균일 샘플링을 가능하게 하는 일반적 프레임워크를 개발할 수 있는가?
• RQ3 부분 거부 샘플링은 사이클-팝핑과 싱크-팝핑과 같은 알려진 정확한 샘플링 알고리즘들을 공통된 이론적 기반으로 통합할 수 있는가?
• RQ4 제안된 샘플러의 $k$-CNF 공식과 가중치가 있는 독립 집합에 대한 평균 실행 시간은 얼마이며, 알려진 이론적 상한과 일치하는가?
• RQ5 정확한 샘플링 알고리즘은 입력 크기의 로그 비례로 증가하는 런타임 하한을 가져야 하는가, 심지어 근사 샘플러의 경우에도 그렇다면?

주요 결과

• 모든 의존성 있는 악성 사건이 상호 배타적일 경우(극한 사례), 모스러-타르도스 알고리즘이 균일하게 분포된 해를 생성함을 증명한 정리 8에 의해 입증된다.
• 제안된 부분 거부 샘플링 알고리즘은 악성 사건을 피하는 모든 유효한 할당에 대해 정확한 균일성을 보장한다. 이는 정리 24에 의해 형식화되어 있다.
• 가중치가 있는 독립 집합(Hard-core model)의 경우, 모델의 유일성 임계값 조건을 충족할 경우 알고리즘은 상수 인자까지 선형 시간 내에 실행된다.
• 알고리즘의 평균 실행 시간은 시어러 조건 하에서 코리팔라와 쎄게디의 상한과 일치하며, 명시적인 공식 $| ext{det } W_k| = (1+o(1))A_ u^{-2} ho^k$ 가 성립한다. 여기서 $ ho < 1$ 는 모델 파라미터에만 의존한다.
• 그래프 상의 하드코어 모델에 대해 어떤 정확한 샘플링 알고리즘도 평균 런타임이 $\frac{1}{3}t$ 이상이어야 하며, 여기서 $t$ 는 $\text{Pr}(T \neq t) < \frac{2}{3}$ 를 만족하는 임계값이다. 이는 비트리비얼한 하한을 의미한다.
• 변형된 알고리즘은 $L = \tilde{\theta}(\text{polylog } n)$ 라운드를 사용할 경우, 출력이 매트릭스 요소에서 $n^{-1/3}$ 이상 벗어나면 전체 변동 거리가 $1 - o(1)$ 에 가까워지며, 이는 비균일성이 비효율성을 암시함을 증명한다.