[논문 리뷰] How to calculate partition functions using convex programming hierarchies: provable bounds for variational methods

Andrej Risteski|arXiv (Cornell University)|2016. 07. 11.

Markov Chains and Monte Carlo Methods참고 문헌 24인용 수 6

한 줄 요약

이 논문은 이징 모델의 분할 함수를 근사하기 위해 셔레일리-아드미스 및 라스레 히에라르키를 사용하는 증명 가능하게 정확한 볼록 변분 방법을 소개한다. 저순서 모멘트 기반 엔트로피 근사와 조밀하거나 낮은 임계값 랭크를 가진 그래프에서의 전역 상관관계 전파를 활용함으로써, 상관관계 감쇠를 초월하는 비트리비얼한 근사 보장을 달성하며, 이는 이론적 보장을 갖춘 첫 번째 증명 가능한 볼록 변분 프레임워크이다.

ABSTRACT

We consider the problem of approximating partition functions for Ising models. We make use of recent tools in combinatorial optimization: the Sherali-Adams and Lasserre convex programming hierarchies, in combination with variational methods to get algorithms for calculating partition functions in these families. These techniques give new, non-trivial approximation guarantees for the partition function beyond the regime of correlation decay. They also generalize some classical results from statistical physics about the Curie-Weiss ferromagnetic Ising model, as well as provide a partition function counterpart of classical results about max-cut on dense graphs \cite{arora1995polynomial}. With this, we connect techniques from two apparently disparate research areas -- optimization and counting/partition function approximations. (i.e. \#-P type of problems). Furthermore, we design to the best of our knowledge the first provable, convex variational methods. Though in the literature there are a host of convex versions of variational methods \cite{wainwright2003tree, wainwright2005new, heskes2006convexity, meshi2009convexifying}, they come with no guarantees (apart from some extremely special cases, like e.g. the graph has a single cycle \cite{weiss2000correctness}). We consider dense and low threshold rank graphs, and interestingly, the reason our approach works on these types of graphs is because local correlations propagate to global correlations -- completely the opposite of algorithms based on correlation decay. In the process we design novel entropy approximations based on the low-order moments of a distribution. Our proof techniques are very simple and generic, and likely to be applicable to many other settings other than Ising models.

연구 동기 및 목표

• 기존의 상관관계 감쇠 방법이 실패하는 이징 모델의 분할 함수 근사에 대해 증명 가능하게 정확한 알고리즘을 개발하기.
• 조합 최적화 기법과 통계역학, #P 유형의 수세기 문제를 연결하기.
• 이전의 볼록 변분 접근법에서 부족했던 이론적 보장을 갖춘 볼록 변분 방법을 설계하기.
• 이징 모델의 큐리-바이어스 모델과 밀도가 높은 그래프에서의 마크컷에 대한 고전적 결과를 분할 함수 설정으로 일반화하기.
• 지역 상관관계가 전역 상관관계를 유도하는 구조적 그래프 클래스—특히 조밀하고 낮은 임계값 랭크를 가진 그래프—를 특정하여 효과적인 근사가 가능하도록 하기.

제안 방법

• 메서드는 분할 함수 계산의 점점 더 날카로운 완화를 만들기 위해 셔레일리-아드미스 및 라스레 볼록 프로그래밍 히에라르키를 활용한다.
• 기존의 변분 공식에서 사용하는 전통적 엔트로피 항을 대체하기 위해, 기본 확률 분포의 저순서 모멘트 기반으로 새로운 엔트로피 근사법을 도입한다.
• 이 접근법은 조밀하고 낮은 임계값 랭크를 가진 그래프에서 지역 상관관계가 전역 상관관계로 전파되는 방식을 활용하며, 상관관계 감쇠 기반 방법과 대비된다.
• 에너지 항과 모멘트 기반 엔트로피 근사법을 조합한 목적 함수를 갖는 볼록 변분 문제를 설정함으로써 볼록성과 해석 가능성 보장한다.
• 히에라르키 수준은 체계적인 개선을 제공하며, 높은 수준일수록 진짜 분할 함수에 대한 더 날카로운 경계를 제공한다.
• 이론적 분석은 히에라르키 깊이가 증가할수록 근사 품질이 향상되며, 특히 낮은 임계값 랭크를 가진 그래프에서 그러하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 볼록 프로그래밍 히에라르키가 이징 모델의 분할 함수에 대해 증명 가능하게 정확한 근사를 유도하는 데 사용될 수 있는가?
• RQ2 변분 추론에서 분할 함수 근사에 대해 모멘트 기반 엔트로피 근사법이 표준 엔트로피 항과 비교해 어떻게 성능을 내는가?
• RQ3 어떤 그래프 클래스에서 전역 상관관계 전파가 상관관계 감쇠보다 더 나은 분할 함수 근사 성능을 보이는가?
• RQ4 제안된 방법이 통계역학과 조합 최적화에서의 고전적 결과를 분할 함수 설정으로 일반화할 수 있는가?
• RQ5 이징 모델에 적용했을 때 볼록 변분 방법의 이론적 보장 구조는 어떠한가?

주요 결과

• 제안된 방법은 분할 함수 근사의 품질에 대해 이론적 보장을 갖춘 첫 번째 증명 가능한 볼록 변분 프레임워크를 제공한다.
• 특히 조밀하고 낮은 임계값 랭크를 가진 그래프에서 상관관계 감쇠의 범위를 초월하는 비트리비얼한 근사 경계를 달성한다.
• 이 방법은 이징 모델의 큐리-바이어스 편자성 이징 모델과 밀도가 높은 그래프에서의 마크컷에 대한 고전적 결과를 분할 함수 맥락으로 일반화한다.
• 저순서 모멘트에서 유도된 모멘트 기반 엔트로피 근사법은 효과적이고 해석 가능한 볼록 완화를 분할 함수에 제공한다.
• 이론적 분석은 지역 상관관계 전파가 상관관계 감쇠 기반 방법과 대비되어 전역 근사 정확도를 가능하게 한다는 것을 확인한다.
• 증명 기법은 일반적이며, 이징 시스템 이외의 모델로도 확장 가능할 가능성이 높다.