[논문 리뷰] A Faster Approximation Algorithm for the Gibbs Partition Function

Vladimir Kolmogorov|arXiv (Cornell University)|2016. 08. 15.

Markov Chains and Monte Carlo Methods참고 문헌 18인용 수 7

한 줄 요약

이 논문은 허버의 방법에 대한 정교한 분석을 통해, 오рак루 호출의 기대 횟수를 $ O(q\ln n \cdot [\ln q + \ln\ln n + \varepsilon^{-2}]) $ 에서 $ O(q\ln n \cdot \varepsilon^{-2}) $ 로 감소시켜, 갈리스 분할 함수에 대한 더 빠른 근사 알고리즘을 제시한다. 또한, 정확한 표본 추출 오라클 외에 $ O(\varepsilon^2 / (q\ln n)) $ 이내의 변동 거리 내에서 근사된 표본 추출 오라클을 사용할 경우에도 동일한 복잡도가 유지됨을 보이며, 자연스러운 계산 모델 하에서 $ \Omega(q \cdot \varepsilon^{-2}) $ 의 하한값을 확립한다.

ABSTRACT

We consider the problem of estimating the partition function $Z(β)=\sum_x \exp(-β(H(x))$ of a Gibbs distribution with a Hamilton $H(\cdot)$, or more precisely the logarithm of the ratio $q=\ln Z(0)/Z(β)$. It has been recently shown how to approximate $q$ with high probability assuming the existence of an oracle that produces samples from the Gibbs distribution for a given parameter value in $[0,β]$. The current best known approach due to Huber [9] uses $O(q\ln n\cdot[\ln q + \ln \ln n+\varepsilon^{-2}])$ oracle calls on average where $\varepsilon$ is the desired accuracy of approximation and $H(\cdot)$ is assumed to lie in $\{0\}\cup[1,n]$. We improve the complexity to $O(q\ln n\cdot\varepsilon^{-2})$ oracle calls. We also show that the same complexity can be achieved if exact oracles are replaced with approximate sampling oracles that are within $O(\frac{\varepsilon^2}{q\ln n})$ variation distance from exact oracles. Finally, we prove a lower bound of $Ω(q\cdot \varepsilon^{-2})$ oracle calls under a natural model of computation.

연구 동기 및 목표

• 정확도 $ \varepsilon $ 로 갈리스 분할 함수 비율 $ q = \ln Z(0)/Z(\beta) $ 를 근사하기 위해 필요한 오라클 호출의 기대 횟수를 향상시키기.
• 정확한 오라클 대신 근사 표본 추출 오라클을 사용할 경우에도 알고리즘의 강건성을 확장하기.
• 자연스러운 계산 모델 하에서 이러한 근사화에 필요한 오라클 호출 수의 최적 하한값을 확립하기.
• 통계역학 및 조합적 수세기 문제에서 분할 함수 추정의 더 날카운 복잡도 한계를 제공하기.

제안 방법

• 분할 함수 로그 비율을 추정하기 위한 허버의 표본 기반 접근법을 채택하고 정교화하기.
• 정교한 농도 분석을 통해 $ \ln q $ 와 $ \ln\ln n $ 의 의존도를 줄여, 점점 더 큰 복잡도에서 이러한 항들을 제거하기.
• 커플링 추론을 적용하여, 정확한 분포에서 $ O(\varepsilon^2 / (q\ln n)) $ 이내의 변동 거리 내에 있는 근사 오라클이 동일한 복잡도를 유지함을 보임.
• 표본 추출 과정의 연속 시간 랜덤 워크 근사에 기반한 하한값 모델을 구성하기.
• 감소하는 양의 값들 $ a_k = 2^{1-k} $ 의 수열을 통해 로그 분할 함수의 두 번째 도함수에 대한 한계 유도하기.
• 로그 분할 함수의 최대 곡률 $ \kappa $ 를 사용하여 추정기의 분산을 바운딩하고 하한값을 유도하기.

실험 결과

연구 질문

• RQ1 기존의 최고 성능인 $ O(q\ln n \cdot [\ln q + \ln\ln n + \varepsilon^{-2}]) $ 보다 갈리스 분할 함수 근사에 대한 오라클 복잡도를 향상시킬 수 있는가?
• RQ2 정확한 오라클 대신 근사 표본 추출 오라클을 사용할 경우, 향상된 복잡도가 유지되는가?
• RQ3 자연스러운 계산 모델 하에서 이러한 근사화에 필요한 오라클 호출 수의 최적 하한값은 무엇인가?
• RQ4 $ \ln q $ 와 $ \ln\ln n $ 의 의존도를 오라클 복잡도에서 제거할 수 있는가?
• RQ5 제안된 알고리즘의 복잡도는 상수 요소를 제외하고 날카로운가?

주요 결과

• 오라클 호출의 기대 횟수는 $ O(q\ln n \cdot \varepsilon^{-2}) $ 로 감소하여, 이전 연구에서 나타난 $ \ln q $ 와 $ \ln\ln n $ 의 의존도가 제거됨.
• 정확한 분포에서 $ O(\varepsilon^2 / (q\ln n)) $ 이내의 변동 거리 내에 있는 근사 표본 추출 오라클을 사용할 경우에도 동일한 복잡도 한계가 유지됨.
• 자연스러운 계산 모델 하에서 $ \Omega(q \cdot \varepsilon^{-2}) $ 의 매칭 하한값이 증명되어, 알고리즘의 복잡도가 점점 더 최적임을 보임.
• 분석을 통해 추정기의 분산이 로그 분할 함수의 곡률에 의해 제어됨을 보이며, 이 곡률은 감소하는 $ a_k $ 값들의 수열을 통해 바운딩됨.
• 하한값 구성은 표본 추출 과정의 연속적 근사를 사용하며, 로그 분할 함수의 최대 두 번째 도함수 $ \kappa $ 에 대한 바운드에 의존함.
• 결과적으로 알고리즘이 상수 요소를 제외하고 최적임을 의미하며, 고정밀도 근사화에 있어 향상된 복잡도는 필수적이며 충분함을 보임.