[논문 리뷰] New Generalizations of the Bethe Approximation via Asymptotic Expansion

Ryuhei Mori, Toshiyuki Tanaka|arXiv (Cornell University)|2012. 10. 09.

Error Correcting Code Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 그래픽 모델에서 분할 함수를 근사하기 위한 베테 근사의 새로운 渐近 전개 기반 일반화를 제안한다. 본 방법은 Vontobel의 그래프 커버 특성화와 베테 자유 에너지의 헤시안에 연결된 엣지 제타 함수를 활용하여, 특정 조건 하에서 특히 고체적 모델에서 고리를 따라 상관관계가 감소할 경우, 원래의 베테 근사보다 渐近적으로 개선된 고차수 보정을 도출한다.

ABSTRACT

The Bethe approximation, discovered in statistical physics, gives an efficient algorithm called belief propagation (BP) for approximating a partition function. BP empirically gives an accurate approximation for many problems, e.g., low-density parity-check codes, compressed sensing, etc. Recently, Vontobel gives a novel characterization of the Bethe approximation using graph cover. In this paper, a new approximation based on the Bethe approximation is proposed. The new approximation is derived from Vontobel's characterization using graph cover, and expressed by using the edge zeta function, which is related with the Hessian of the Bethe free energy as shown by Watanabe and Fukumizu. On some conditions, it is proved that the new approximation is asymptotically better than the Bethe approximation.

연구 동기 및 목표

• 표준 베테 근사 이외의 체계적인 고차수 분할 함수 근사법을 개발하기 위해.
• 그래프 커버 이론에 기반한 渐近 전개 기법을 사용하여 베테 근사의 일반화를 체계화하기 위해.
• 새로운 근사가 원래의 베테 근사보다 渐近 정확도 측면에서 더 우수한 조건을 설정하기 위해.
• 엣지 제타 함수와 베테 자유 에너지의 헤시안 사이의 관계를 연결하여 고차수 보정의 기하학적 및 해석적 해석을 가능하게 하기 위해.
• 특히 임계 행동이나 자유 에너지 최소값의 비연속성과 관련된 모델에서 위상 전이 근처의 근사 행동을 조사하기 위해.

제안 방법

• 고차수 모멘트와 도함수를 사용하여, 베테 자유 에너지의 渐近 전개를 차수 $ m $ 까지 수행함으로써 새로운 근사 $ Z_{\text{AB}}^{(m)} $ 를 유도한다.
• Vontobel의 그래프 커버 프레임워크를 활용하여 베테 자유 에너지를 특성화하고, 인자 그래프 내의 일반화된 고리 구조로 확장한다.
• 베테 자유 에너지의 헤시안과 분석적으로 연결된 엣지 제타 함수 $ \tilde{\rho}(\bm{u}) $ 를 사용하여 근사를 표현한다.
• 각 항이 고차수 통계 모멘트(예: $ Z_{\text{AB}}^{(1)} $ 는 제3차 모멘트 포함)를 도함수를 통해 반영하는 보정 시리즈 $ Z_{\text{AB}}^{(1)}, Z_{\text{AB}}^{(2)}, \text{etc.} $ 를 도입한다.
• 메시지 $ m_{i\to a}, m_{a\to i} $ 를 사용하여 국소 분포 $ b_i, b_a $ 와 그 일관성을 확보하는 축약 가능성 제약 조건을 정의하는 벨리프 전파(BP) 방정식을 기초로 한다.
• 이를 이ѕ모델 및 3체 이징 모델에 적용하여, 엣지 제타 함수 $ \tilde{\rho}(\bm{u}) = 1 $ 이고 메시지가 균일할 경우 $ Z_{\text{AB}}^{(1)} = Z_{\text{Bethe}} $ 임을 보여준다.

실험 결과

연구 질문

• RQ1 베테 근사는 渐近 전개 기법을 체계적으로 일반화하여 정확도를 향상시킬 수 있는가?
• RQ2 새로운 근사 $ Z_{\text{AB}}^{(m)} $ 가 원래의 베테 근사보다 분할 함수 추정에서 더 우수한 결과를 내는 조건은 무엇인가?
• RQ3 엣지 제타 함수는 베테 자유 에너지의 헤시안과 어떻게 관련되어 있으며, 이 관계를 고차수 보정을 도출하는 데 활용할 수 있는가?
• RQ4 베테 자유 에너지의 헤시안이 특이해지는 임계 온도 근처에서 일반화된 근사의 행동은 어떠한가?
• RQ5 특히 고리 상관관계가 감소하는 경우, 대규모 크기 근사 $ N \to \infty $ 에서 희박한 인자 그래프에 대해 이 방법이 정당화될 수 있는가?

주요 결과

• 모든 고리에 따라 쌍방향 상관관계의 곱이 대규모 근사에서 0으로 수렴하는 조건 하에서, 새로운 근사 $ Z_{\text{AB}}^{(1)} $ 는 베테 근사보다 渐近적으로 더 우수하다.
• 엣지 제타 함수 $ \tilde{\rho}(\bm{u}) = 1 $ 일 경우(예: 균일한 메시지가 있는 3체 이징 모델), $ Z_{\text{AB}}^{(1)} $ 는 정확히 베테 근사로 축소된다.
• $ Z_{\text{AB}}^{(1)} $ 의 유도 과정은 베테 자유 에너지의 제3차 도함수를 포함하므로, 이는 그래픽 모델 내 제3차 통계 모멘트를 반영하고 있음을 시사한다.
• 이 방법은 $ m=1 $ 에서는 모든 노드의 차수 최대 3인 연결된 일반화된 고리 기여를 포착하며, 더 복잡한 고리 구조에 대해 고차수 $ m $ 로 일반화됨을 드러낸다.
• 베테 자유 에너지 최소값이 비연속적으로 변화할 경우, 임계 온도 $ \beta_c $ 에서 근사가 비연속적이 되며, 이는 제1종 위상 전이의 유한 크기 계열 해석을 나타낸다.
• 베테 자유 에너지의 헤시안이 정정의 정부정이 아닐 경우, 엣지 제타 함수는 $ \beta_c $ 에서 발산하며, 이는 제2종 위상 전이의 유한 크기 계열 해석을 나타낸다.