[논문 리뷰] Approximating Partition Functions in Constant Time

Vishesh Jain, Frederic Koehler외 1명|arXiv (Cornell University)|2017. 11. 05.

Markov Chains and Monte Carlo Methods참고 문헌 20인용 수 3

한 줄 요약

이 논문은 절단 분해와 알고리즘적 정규성 보조정리(regularity lemma)를 사용하여 조밀한 그래픽 모델, 특히 이징 모델과 품스 모델의 로그 분할 함수를 상수 시간에 근사하는 알고리즘을 제시한다. 이는 $n$에 종속되지 않는 시간 내에 $O(\epsilon \|\vec{J}\|_1)$의 덧셈 오차를 달성하며, 이는 이전의 $n^{O(1/\epsilon^2)}$ 방법에 비해 크게 향상되었고, 저임계값 랭크 및 $k$-차이 상호작용 모델로까지 확장된다.

ABSTRACT

We study approximations of the partition function of dense graphical models. Partition functions of graphical models play a fundamental role is statistical physics, in statistics and in machine learning. Two of the main methods for approximating the partition function are Markov Chain Monte Carlo and Variational Methods. An impressive body of work in mathematics, physics and theoretical computer science provides conditions under which Markov Chain Monte Carlo methods converge in polynomial time. These methods often lead to polynomial time approximation algorithms for the partition function in cases where the underlying model exhibits correlation decay. There are very few theoretical guarantees for the performance of variational methods. One exception is recent results by Risteski (2016) who considered dense graphical models and showed that using variational methods, it is possible to find an $O(εn)$ additive approximation to the log partition function in time $n^{O(1/ε^2)}$ even in a regime where correlation decay does not hold. We show that under essentially the same conditions, an $O(εn)$ additive approximation of the log partition function can be found in constant time, independent of $n$. In particular, our results cover dense Ising and Potts models as well as dense graphical models with $k$-wise interaction. They also apply for low threshold rank models.

연구 동기 및 목표

• 조밀한 그래픽 모델의 로그 분할 함수를 $n$에 대해 다항 시간이 필요한 기존 방법들과는 달리 상수 시간에 근사하는 알고리즘을 개발하는 것.
• 변분 근사 방법을 확장하여 다항 시간 이하의 런타임을 확보하면서도 이론적 오차 보장을 유지하는 것.
• 알고리즘적 정규성 보조정리를 그래픽 모델, 특히 분할 함수 추정에 적용하는 것.
• 이징 모델과 품스 모델에서 단위 당 자화율(magnetization)의 상수 시간 근사 제공.
• 결과를 $k$-차이 상호작용 모델과 저임계값 랭크 시스템으로 일반화하는 것.

제안 방법

• 상호작용 행렬 $J$의 절단 분해를 활용하여, 구조적이고 저복잡도의 표현을 통해 로그 분할 함수를 근사하는 방식.
• 알고리즘적 정규성 보조정리를 사용하여 $J$를 계수의 크기가 유한하고 오차가 통제 가능한 $O(\epsilon^{-2})$개의 절단 행렬로 분해하는 방식.
• 각 절단 행렬이 분할 함수에 기여하는 정도를 상수 시간 내에서 랜덤 샘플링 절차를 통해 추정하는 방식.
• 로거 분할 함수가 분해된 구성 요소들에 대해 최적화함으로써 근사될 수 있음을 활용하고, 측도 집중성의 원리를 적용하는 방식.
• 프리에즈와 칸난의 약한 정규성 보조정리를 고차 상호작용과 저임계값 랭크 모델을 다룰 수 있도록 수정하는 방식.
• $\ell_1$ 및 $\ell_2$ 노름을 통한 오차 한계를 적용하여, 덧셈 오차 $O(\epsilon \|\vec{J}\|_1)$를 보장하는 방식.

실험 결과

연구 질문

• RQ1 조밀한 그래픽 모델의 로그 분할 함수는 $n$에 종속되지 않는 상수 시간 내에 근사될 수 있는가?
• RQ2 상관관계 감쇠가 성립하지 않는 모델에서 알고리즘적 정규성 보조정리가 분할 함수의 상수 시간 추정을 가능하게 하는가?
• RQ3 이 방법은 $k$-차이 상호작용 모델과 저임계값 랭크 시스템으로 확장될 수 있는가?
• RQ4 이징 모델과 품스 모델에서 단위 당 자화율의 상수 시간 근사가 가능한가?
• RQ5 상관관계 감쇠가 존재하지 않을 경우 오차 한계는 $\epsilon$과 $\|\vec{J}\|_1$에 대해 어떻게 변화하는가?

주요 결과

• 조밀한 그래픽 모델의 로그 분할 함수는 $n$에 종속되지 않는 상수 시간 내에서 $O(\epsilon \|\vec{J}\|_1)$의 덧셈 오차로 근사 가능하다.
• 이 알고리즘은 조밀한 그래프에서 Max-Cut 문제에 대해 알려진 가장 빠른 PTAS의 런타임과 동일하며, $O(2^{\tilde{O}(1/\epsilon^2)})$ 시간을 기록한다.
• 이 방법은 $k$-차이 상호작용 모델에도 적용 가능하며, $N$차원 상호작용 텐서에 대해 오차 한계가 $O(\epsilon 2^k \sqrt{N} \|\vec{J}\|_2)$로 스케일링된다.
• 저임계값 랭크 이징 모델의 경우, 너비 $O(\epsilon^{-2})$인 절단 분해를 통해 $O(\epsilon \|\vec{J}\|_1)$의 오차를 달성한다.
• 이 방법은 이징 모델과 품스 모델에서 단위 당 자화율의 상수 시간 근사가 가능하게 하며, 오차는 $O(\epsilon \|\vec{J}\|_1)$이다.
• 이 결과들은 알고리즘적 정규성 보조정리를 분할 함수 추정에 처음으로 적용한 것으로, 하위선형 시간 추론을 위한 새로운 프레임워크를 제공한다.