[논문 리뷰] Copula Variational Bayes inference via information geometry

Viet Hung Tran|arXiv (Cornell University)|2018. 03. 29.

Bayesian Modeling and Causal Inference참고 문헌 42인용 수 5

한 줄 요약

이 논문은 전통적인 변분 베이즈에서의 독립성 가정을 완화하기 위해 복소수를 통해 의존성을 모델링하는 일반화된 프레임워크인 복소수 변분 베이즈(CVB)를 제안한다. 정보 기하학을 통해 CVB는 진정한 사후분포를 복소수 제약이 있는 다양체 위로 반복적으로 투영하며, 보완된 계층적 혼합 구조를 통해 국소 최적값을 초월한 전역 최적 근사치를 달성한다. 시뮬레이션 결과, 상관된 가우시안 혼합 모델에서 VB, EM, k-means보다 뛰어난 분류 정확도를 보였다.

ABSTRACT

Variational Bayes (VB), also known as independent mean-field approximation, has become a popular method for Bayesian network inference in recent years. Its application is vast, e.g. in neural network, compressed sensing, clustering, etc. to name just a few. In this paper, the independence constraint in VB will be relaxed to a conditional constraint class, called copula in statistics. Since a joint probability distribution always belongs to a copula class, the novel copula VB (CVB) approximation is a generalized form of VB. Via information geometry, we will see that CVB algorithm iteratively projects the original joint distribution to a copula constraint space until it reaches a local minimum Kullback-Leibler (KL) divergence. By this way, all mean-field approximations, e.g. iterative VB, Expectation-Maximization (EM), Iterated Conditional Mode (ICM) and k-means algorithms, are special cases of CVB approximation. For a generic Bayesian network, an augmented hierarchy form of CVB will also be designed. While mean-field algorithms can only return a locally optimal approximation for a correlated network, the augmented CVB network, which is an optimally weighted average of a mixture of simpler network structures, can potentially achieve the globally optimal approximation for the first time. Via simulations of Gaussian mixture clustering, the classification's accuracy of CVB will be shown to be far superior to that of state-of-the-art VB, EM and k-means algorithms.

연구 동기 및 목표

• 변분 베이즈(VB)의 한계를 극복하기 위해 사후 근사에서 엄격한 독립성 가정을 완화하는 것.
• VB를 더 넓은 복소수 기반 근사 클래스의 특수한 경우로 일반화하여 확률 모델 내 복잡한 의존성을 포괄하는 것.
• 확장된 CVB 네트워크를 구성함으로써 베이지안 네트워크에 대한 전역 최적 추론 프레임워크를 개발하는 것.
• 시뮬레이션을 통해 상관된 데이터에 대해 CVB가 VB, EM, k-means와 같은 최첨단 평균장 방법보다 정확도와 수렴 속도에서 뛰어나게 성능을 높임을 입증하는 것.

제안 방법

• 공동 사후분포를 복소수 밀도로 조절된 마진 분포의 곱으로 모델링하는 복소수 기반 변분 근사법을 수립함으로써, 다이나믹한 의존성 구조를 허용한다.
• 정보 기하학을 통해 Bregman 발산 최소화를 적용하여 반복적 VB 업데이트를 복소수 제약 다양체 위로의 투영으로 해석한다.
• 더 단순한 CVB 근사의 계층적 혼합으로서 보완된 CVB 네트워크를 유도함으로써 국소 최소값을 초월한 전역 최적화를 가능하게 한다.
• Sklar의 정리를 활용해 진정한 공동 분포를 복소수 및 마진 성분으로 분해함으로써, 복소수가 모든 변수 간 의존성을 포괄하도록 보장한다.
• 고정된 복소수 구조를 유지하면서 마진 분포를 반복적으로 최적화함으로써 진정한 사후분포로의 KL 발산을 최소화한다.
• 다양한 복소수 형태를 탐색하고 증가하는 상관관계 및 클러스터 간 분리도에 대한 강건성을 평가하기 위해 여러 CVB 변종(CVB₁, CVB₂, CVB₃ 등)을 도입한다.

실험 결과

연구 질문

• RQ1 변분 베이즈의 독립성 제약을 복소수를 통한 구조적 의존성 모델링으로 일반화할 수 있는가?
• RQ2 변분 추론에서 복소수를 사용할 경우, 평균장 방법과 비교해 상관된 확률 모델에서 근사 품질이 어떻게 향상되는가?
• RQ3 VB의 반복적 투영 과정을 복소수 제약 다양체 위로의 Bregman 투영으로 기하학적으로 재해석할 수 있는가?
• RQ4 지역 CVB 근사의 가중 혼합으로 구성된 보완된 CVB 네트워크가 평균장 방법이 실패하는 상황에서 사후 근사에서 전역 최적성을 달성할 수 있는가?
• RQ5 CVB는 상관된 가우시안 혼합 모델에서 클러스터링 정확도 측면에서 VB, EM, k-means를 어느 정도 뛰어나게 성능을 높이는가?

주요 결과

• CVB는 클러스터 간 거리가 클러스터 분산을 초과할 경우, 상관된 가우시안 혼합 데이터에서 평균 90%의 정확한 분류를 달성하는 반면, VB, EM, k-means는 뿐만 아니라 80%에 그친다.
• CVB₂ 및 CVB₃ 변종은 상관관계가 증가함에 따라 높은 성능을 유지하지만, 히وري스틱 방식의 CVB₁은 성능이 저하되어 복소수 형태 선택에 민감함을 보인다.
• 지역 CVB 근사의 가중 혼합으로 구성된 보완된 CVB 네트워크는 평균장 방법이 국소 최적값에 갇힐 수 있는 상황에서 처음으로 전역 최적 사후 근사를 달성한다.
• 모든 표준 평균장 알고리즘—VB, EM, ICM, k-means—는 특정한 복소수 구조(예: 독립성에 대한 균일 복소수) 하에서 제안된 CVB 프레임워크의 특수한 경우로 밝혀졌다.
• 다양한 시뮬레이션 설정에서 CVB의 KL 발산 및 평균 제곱 오차(MSE)는 VB, EM, k-means보다 일관되게 낮게 유지되어 근사 품질 향상이 확인되었다.
• 이론적 분석을 통해 CVB가 복소수 제약 다양체 위로의 반복적 투영을 통해 진정한 사후분포로의 Bregman 발산을 최소화함을 확인하였으며, 이는 본 방법의 기하학적 기반을 제공한다.