[논문 리뷰] The Mean-Field Approximation: Information Inequalities, Algorithms, and Complexity

Vishesh Jain, Frederic Koehler외 1명|arXiv (Cornell University)|2018. 02. 16.

Quantum Computing Algorithms and Architecture인용 수 8

한 줄 요약

이 논문은 정보 부등식과 조합 최적화를 활용하여 진정한 이징 모델 분포와 그 평균장 근사 간의 칼리브라-라이블러 발산에 대해 날카롭고 최적의 경계를 확립한다. 또한 추가 오차 $\epsilon n\|J\|_F$ 내에서 자유 에너지를 근사하는 데에 시간 $\exp(\text{poly}(1/\epsilon))$ 이내에 효율적인 알고리즘을 개발하며, 이는 하위-상수 요인 향상이 NP-난이도임을 증명하고, 편자성 및 도브루시닌 조건을 만족하는 모델에 대해 더 빠른 알고리즘을 제공한다.

ABSTRACT

The mean field approximation to the Ising model is a canonical variational tool that is used for analysis and inference in Ising models. We provide a simple and optimal bound for the KL error of the mean field approximation for Ising models on general graphs, and extend it to higher order Markov random fields. Our bound improves on previous bounds obtained in work in the graph limit literature by Borgs, Chayes, Lov\\'asz, S\\'os, and Vesztergombi and another recent work by Basak and Mukherjee. Our bound is tight up to lower order terms. Building on the methods used to prove the bound, along with techniques from combinatorics and optimization, we study the algorithmic problem of estimating the (variational) free energy for Ising models and general Markov random fields. For a graph $G$ on $n$ vertices and interaction matrix $J$ with Frobenius norm $\\| J \\|_F$, we provide algorithms that approximate the free energy within an additive error of $\\epsilon n \\|J\\|_F$ in time $\\exp(poly(1/\\epsilon))$. We also show that approximation within $(n \\|J\\|_F)^{1-\\delta}$ is NP-hard for every $\\delta > 0$. Finally, we provide more efficient approximation algorithms, which find the optimal mean field approximation, for ferromagnetic Ising models and for Ising models satisfying Dobrushin's condition.

연구 동기 및 목표

• 기존의 그래프 극한 및 변분 경계보다 향상된, 진정한 이징 모델과 그 평균장 근사 간의 KL 발산에 대해 날카롭고 최적의 경계를 확립하는 것.
• 지정된 추가 오차 내에서 이징 모델과 고차원 마르코프 무작위 필드의 자유 에너지를 효율적으로 근사하는 알고리즘을 개발하는 것.
• 자유 에너지 근사의 계산 복잡도를 규명하여, 최적 오차의 하위-상수 요인 내에서의 근사는 NP-난이도임을 보여주는 것.
• 편자성 이징 모델과 도브루시닌 조건을 만족하는 모델에 대해 더 빠른 전문화된 알고리즘을 제공하는 것.
• 변분 추론을 위한 최적의 근사를 도출하기 위해 정보 이론적 경계와 조합 및 최적화 기법을 통합하는 것.

제안 방법

• 정보 부등식과 변분 원리를 활용하여 진정한 분포와 평균장 분포 간의 KL 발산에 대해 날카로운 경계를 유도한다.
• 프리에즈-칸난의 알고리즘적 정규성 보조정리를 적용하여 상호작용 행렬 $J$를 제어 가능한 오차를 갖는 저랭크 컷 행렬의 합으로 분해한다.
• 공통의 분할 정렬을 통해 고차원 자유 에너지 최대화 문제를 블록-상수 변수에 대한 저차원 볼록 프로그램으로 축소한다.
• 타원체 방법을 사용하여 결과로 얻어진 볼록 프로그램을 시간 $\exp(\text{poly}(1/\epsilon))$ 내에 근사적으로 해결하며, 지수적으로 작은 오차를 갖는다.
• 편자성 및 도브루시닌 조건을 만족하는 모델의 구조를 활용하여 더 효율적인 다항 시간 알고리즘을 설계한다.
• 최대 엔트로피 공식을 활용하여 자유 에너지를 모멘트 제약 조건 하의 엔트로피 최대화 문제로 연결하고, 볼록 최적화를 통해 효율적으로 계산할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 진정한 이징 모델과 그 평균장 근사 간의 KL 발산에 대해 가장 날카로운 가능한 경계는 무엇이며, 이는 이전 결과와 어떻게 비교되는가?
• RQ2 일반적인 이징 모델의 자유 에너지를 지정된 추가 오차 내에서 효율적으로 근사할 수 있는가?
• RQ3 자유 에너지를 최적 오차의 하위-상수 요인 내에서 근사하는 데에 필요한 계산 복잡도는 무엇인가?
• RQ4 평균장 근사와 자유 에너지 추정을 더 효율적으로 계산할 수 있는 특수한 클래스의 이징 모델이 존재하는가?
• RQ5 정보 이론적 경계와 알고리즘 기법을 어떻게 융합하여 최적의 변분 근사를 도출할 수 있는가?

주요 결과

• 논문은 보르그스 등과 바사크-무크헤지의 이전 결과보다 향상된, 하위항목을 제외한 최적의 경계를 평균장 근사의 KL 오차에 대해 확립한다.
• 추가 오차 $\epsilon n\|J\|_F$ 내에서 자유 에너지를 근사하는 알고리즘을 개발하였으며, 이는 고정된 $\epsilon$ 에서 효율적이다.
• 모든 $\delta > 0$ 에 대해 $O((n\|J\|_F)^{1-\delta})$ 오차 내에서 자유 에너지를 근사하는 것은 NP-난이도임을 증명하여 강력한 계산 난이도 한계를 설정한다.
• 편자성 이징 모델과 도브루시닌 조건을 만족하는 모델에 대해, 최적의 평균장 근사를 계산하는 더 빠른 다항 시간 알고리즘을 제공한다.
• 매트릭스 분해, 볼록 완화, 그리고 정밀화된 분할에 대한 엔트로피 최대화를 통합하여 고정밀 자유 에너지 추정을 달성한다.
• 이론적 프레임워크는 변분 추론, 정보 이론, 계산 복잡도를 통합하여 평균장 근사에 대한 종합적인 분석을 제공한다.