[논문 리뷰] General Lower Bounds based on Computer Generated Higher Order Expansions

M.A.R. Leisink, Hilbert J. Kappen|arXiv (Cornell University)|2012. 12. 12.

Markov Chains and Monte Carlo Methods참고 문헌 7인용 수 12

한 줄 요약

이 논문은 고차수 전개를 사용하여 임의의 정밀도로 지수 함수의 일반적인 하한을 컴퓨터로 생성하는 알고리즘을 제시한다. 버틀로즈 머신의 분할 함수에 이 방법을 적용함으로써, 저자들은 제9차까지의 분석 최적화 변분 하한을 도출하였으며, TAP 근사 이외의 보정으로서의 실용적 계산 가능성과 유용성을 입증하였다.

ABSTRACT

In this article we show the rough outline of a computer algorithm to generate lower bounds on the exponential function of (in principle) arbitrary precision. We implemented this to generate all necessary analytic terms for the Boltzmann machine partition function thus leading to lower bounds of any order. It turns out that the extra variational parameters can be optimized analytically. We show that bounds upto nineth order are still reasonably calculable in practical situations. The generated terms can also be used as extra correction terms (beyond TAP) in mean field expansions.

연구 동기 및 목표

• 임의의 정밀도로 지수 함수의 하한을 생성하는 일반적인 알고리즘을 개발하는 것.
• 통계역학 모델에서의 평균장 근사 향상을 위해 고차수 전개를 버틀로즈 머신의 분할 함수에 적용하는 것.
• 전개 과정에서 도입된 추가 변분 매개변수의 분석 최적화를 가능하게 하는 것.
• 실세계 상황에서 제9차까지의 하한의 실용적 계산 가능성을 입증하는 것.
• 생성된 전개 항들을 사용해 TAP 근사 이외의 보정 항을 제공하는 것.

제안 방법

• 이 방법은 분할 함수의 로그에 대한 컴퓨터로 생성된 고차수 테일러 유사 전개를 사용한다.
• 이 전개 기반으로 변분 하한을 설정하며, 추가적인 변분 매개변수를 도입한다.
• 전개 항의 구조를 활용하여 변분 매개변수를 분석적으로 최적화한다.
• 원하는 근사 차수에 대해 필요한 모든 해석적 항을 체계적으로 생성하는 알고리즘을 구축한다.
• 이 방법을 버틀로즈 머신 모델에 적용하여 그 분할 함수에 대한 하한을 계산한다.
• 결과적으로 제9차까지의 하한이 실용적 환경에서 계산 가능하다는 것이 입증된다.

실험 결과

연구 질문

• RQ1 체계적이고 컴퓨터로 생성된 방법이 임의의 정밀도로 지수 함수의 하한을 생성할 수 있는가?
• RQ2 고차수 전개를 어떻게 활용하여 통계역학 모델의 평균장 근사를 향상시킬 수 있는가?
• RQ3 전개 과정에서 도입된 변분 매개변수의 분석 최적화 범위는 어느 정도인가?
• RQ4 실제 모델, 예를 들어 버틀로즈 머신과 같은 모델에서 이러한 고차수 하한의 실용적 계산 한계는 어디까지인가?
• RQ5 생성된 항들이 TAP 근사 이외의 보정으로 효과적으로 기능할 수 있는가?

주요 결과

• 알고리즘이 컴퓨터 자동화된 고차수 전개를 통해 지수 함수의 하한을 임의의 정밀도로 성공적으로 생성한다.
• 버틀로즈 머신의 분할 함수에 필요한 모든 해석적 항을 이 방법을 통해 체계적으로 유도할 수 있다.
• 전개 과정에서 도입된 추가 변분 매개변수는 분석적으로 최적화 가능하여 계산을 단순화한다.
• 제9차까지의 하한은 실용적 응용에서 여전히 계산 가능하다.
• 생성된 항들은 평균장 전개에서 TAP 근사 이외의 효과적인 보정 항을 제공한다.
• 이 방법은 확장성과 정밀도를 입증하여 고차수 통계 근사의 견고한 프레임워크를 제공한다.