[논문 리뷰] A Generalized Mean Field Algorithm for Variational Inference in Exponential Families

Eric P. Xing, Michael I. Jordan외 1명|arXiv (Cornell University)|2012. 10. 19.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 149

한 줄 요약

이 논문은 지수족 모델에서 변분 추론을 위한 일반화된 평균장(GMF) 알고리즘을 제안하며, 복잡한 모델을 상호배타적인 변수 클러스터로 분해하고 고정점 방정식을 통해 클러스터의 주변확률을 반복적으로 최적화함으로써 일반적이고 모델에 종속되지 않는 근사 추론을 가능하게 한다. 이 방법은 수렴성을 보장하며 클러스터 내 의존성을 유지하며, 여러 표준 모델에서 신뢰성 있는 추론 품질을 달성한다.

ABSTRACT

The mean field methods, which entail approximating intractable probability distributions variationally with distributions from a tractable family, enjoy high efficiency, guaranteed convergence, and provide lower bounds on the true likelihood. But due to requirement for model-specific derivation of the optimization equations and unclear inference quality in various models, it is not widely used as a generic approximate inference algorithm. In this paper, we discuss a generalized mean field theory on variational approximation to a broad class of intractable distributions using a rich set of tractable distributions via constrained optimization over distribution spaces. We present a class of generalized mean field (GMF) algorithms for approximate inference in complex exponential family models, which entails limiting the optimization over the class of cluster-factorizable distributions. GMF is a generic method requiring no model-specific derivations. It factors a complex model into a set of disjoint variable clusters, and uses a set of canonical fix-point equations to iteratively update the cluster distributions, and converge to locally optimal cluster marginals that preserve the original dependency structure within each cluster, hence, fully decomposed the overall inference problem. We empirically analyzed the effect of different tractable family (clusters of different granularity) on inference quality, and compared GMF with BP on several canonical models. Possible extension to higher-order MF approximation is also discussed.

연구 동기 및 목표

• 지수족 모델에 대해 모델 특화 도출 없이도 적용 가능한 일반적인 변분 추론 방법을 개발하기 위해.
• 기존 평균장 방법에서 수렴 보장의 부재와 추론 품질의 불명확성 문제를 해결하기 위해.
• 복잡한 모델을 처리 가능한 상호배타적인 변수 클러스터로 분해하여 효율적인 근사 추론을 가능하게 하기 위해.
• 추론 과정에서 각 클러스터 내 원래의 의존성 구조를 유지하여 근사 정확도를 향상시키기 위해.
• 클러스터의 세분성 영향을 실증적으로 평가하고, 신뢰성 있는 추론 방법과의 비교를 수행하기 위해.

제안 방법

• GMF 알고리즘은 분포가 클러스터 인수분해 가능하도록 최적화를 제한하며, 모델을 상호배타적인 변수 클러스터로 분해한다.
• 고정점 방정식의 집합을 활용하여 클러스터 주변확률을 반복적으로 업데이트하면서 클러스터 내 의존성을 유지한다.
• 수렴 가능한 국소 최적해로 수렴하도록 분포 공간 위에서 제약 최적화를 수행한다.
• 이 알고리즘은 일반화된 평균장 이론에서 유도되며, 고전적 평균장을 더 풍부한 처리 가능한 가족으로 확장한다.
• 유연한 클러스터 세분성을 지원하여 근사 정확도와 계산 비용 사이의 트레이드오���을 가능하게 한다.
• 모델 특화 도출 없이도 광범위한 지수족 모델에 적용 가능한 점을 지닌다.

실험 결과

연구 질문

• RQ1 지수족 모델에서 변분 추론을 위해 모델 특화 도출 없이도 적용 가능한 일반적인 평균장 알고리즘을 개발할 수 있는가?
• RQ2 클러스터의 세분성이 복잡한 모델에서 변분 근사 품질에 어떤 영향을 미치는가?
• RQ3 GMF 알고리즘이 표준 모델에서 신뢰성 있는 추론 방법보다 더 나은가 또는 유사한 추론 품질을 달성하는가?
• RQ4 일반화된 평균장 프레임워크는 수렴성을 보장하고 진짜 우도에 대한 하한을 제공할 수 있는가?
• RQ5 고차원 근사로의 GMF 확장에 있어 이론적 및 실용적 한계는 무엇인가?

주요 결과

• GMF 알고리즘은 이징 및 볼츠만 네트워크를 포함한 여러 표준 모델에서 신뢰성 있는 추론 품질을 달성하며, 신뢰성 있는 추론 방법과 비교해도 경쟁 가능한 성능을 보였다.
• 다양한 클러스터 세분성은 추론 정확도에 상당한 영향을 미치며, 더 세밀한 클러스터가 일반적으로 근사 정확도를 향상시켰다.
• 고정점 반복 구조와 제약 최적화 프레임워크 덕분에 수렴성이 보장된다.
• 알고리즘은 클러스터 내 의존성을 유지함으로써 표준 평균장 방법보다 더 높은 변분 근사 정확도를 달성한다.
• 실증 결과에 따르면 GMF는 진짜 로그우도에 대해 날카로운 하한을 제공하며, 신뢰할 수 있는 추론 도구로의 활용 가능성을 뒷받침한다.
• 이 방법은 고차원 평균장 근사로의 확장이 가능하여 복잡한 모델에서의 향상 잠재력을 보여준다.