[논문 리뷰] Trust-Region Variational Inference with Gaussian Mixture Models

Oleg Arenz, Mingjun Zhong외 1명|arXiv (Cornell University)|2019. 07. 10.

Gaussian Processes and Bayesian Inference참고 문헌 70인용 수 4

한 줄 요약

이 논문은 복잡하고 다모드인 타겟 분포의 정확하고 동적 적응형 GMM 근사값을 학습하기 위해 정보 기하학적 트러스트 영역과 하한 최적화를 사용하는 가우시안 믹스처 모델(GMM)을 활용한 트러스트 영역 변분 추론(VIPS)을 제안한다. 독립적 컴포넌트 업데이트와 온라인 컴포넌트 적응을 가능하게 함으로써, MCMC 수준의 샘플을 최대 1,000배 적은 계산 비용으로 달성한다.

ABSTRACT

Many methods for machine learning rely on approximate inference from intractable probability distributions. Variational inference approximates such distributions by tractable models that can be subsequently used for approximate inference. Learning sufficiently accurate approximations requires a rich model family and careful exploration of the relevant modes of the target distribution. We propose a method for learning accurate GMM approximations of intractable probability distributions based on insights from policy search by using information-geometric trust regions for principled exploration. For efficient improvement of the GMM approximation, we derive a lower bound on the corresponding optimization objective enabling us to update the components independently. Our use of the lower bound ensures convergence to a stationary point of the original objective. The number of components is adapted online by adding new components in promising regions and by deleting components with negligible weight. We demonstrate on several domains that we can learn approximations of complex, multimodal distributions with a quality that is unmet by previous variational inference methods, and that the GMM approximation can be used for drawing samples that are on par with samples created by state-of-the-art MCMC samplers while requiring up to three orders of magnitude less computational resources.

연구 동기 및 목표

• 표준 변분 방법이 평균-장 가정에 의해 제한되어 실패하는 복잡하고 다모드인 사후 분포 근사화 문제를 해결한다.
• MCMC와 표준 변분 추론의 한계를 극복하기 위해, 계산 효율성과 높은 샘플 품질을 결합하여 비가역적 사후 분포에 적합한 방법을 개발한다.
• 최적화 과정 중에 타겟 분포의 여러 모드를 더 잘 포착하기 위해 가우시안 믹스처 모델(GMM)의 컴포넌트 수를 동적으로 적응시키는 방법을 개발한다.
• 유도된 하한과 트러스트 영역 업데이트를 통해 비가역 KL 발산 목적함수의 안정적이고 효율적인 최적화를 보장한다.
• 학습된 GMM 근사에서 고품질의 샘플링을 가능하게 하여, 상태최근기 MCMC 샘플러의 성능을 충족하거나 초월하면서도 계산 비용을 극적으로 감소시킨다.

제안 방법

• 정책 탐색(MORE)에서 영감을 얻은 트러스트 영역 프레임워크를 제안하여, 국소 2차 근사에 기반한 안정적이고 단조로운 변분 목표함수 향상을 보장한다.
• 역 KL 발산에 대한 하한을 유도하여 각 GMM 컴포넌트에 대해 독립적인 부분문제로 분해함으로써, 효율적이고 병렬적인 업데이트를 가능하게 한다.
• 이 하한을 사용하여 목적함수를 반복적으로 강화하고 최대화함으로써, 원래 KL 최소화 문제의 정류점으로 수렴함을 보장한다.
• 최적화 과정 중에 GMM 컴포넌트 수를 동적으로 조정한다: 고밀도 영역에 새로운 컴포넌트를 추가하고, 무시할 수 있는 가중치를 가진 컴포넌트를 제거한다.
• 비정규화된 타겟 밀도의 함수 평가를 활용하여 탐색을 이끌며, 고밀도 영역의 이용과 새로운 모드 탐색 사이의 균형을 이룬다.
• 트러스트 영역 제약을 적용하여 GMM 파라미터 업데이트가 국소 근사가 유효한 영역 내에 머무르도록 보장함으로써 발산을 방지한다.

실험 결과

연구 질문

• RQ1 트러스트 영역 최적화 프레임워크는 GMM를 사용한 다모드 사후 분포에 대한 변분 추론의 안정성과 수렴성을 향상시킬 수 있는가?
• RQ2 하한 분해를 통해 GMM 컴포넌트의 독립적이고 효율적인 업데이트가 가능해지며, 수렴 보장이 유지되는가?
• RQ3 온라인 컴포넌트 적응(추가 및 삭제)은 사전에 모드 수를 알지 못하더라도 더 정확하고 컴act한 GMM 근사치를 도출할 수 있는가?
• RQ4 학습된 GMM에서 유도된 샘플의 품질은 통계적 정밀도와 계산 비용 측면에서 최첨단 MCMC 샘플러와 비교해 어떻게 되는가?
• RQ5 이 방법은 복잡하고 다모드인 분포에서 BBVI와 IAF와 같은 기존의 변분 추론 기반 방법보다 ELBO 및 샘플 품질 지표에서 얼마나 뛰어나게 성능을 냈는가?

주요 결과

• VIPS++는 PTMCMC와 같은 최첨단 MCMC 샘플러와 유사한 최대 평균 차이(MMD) 값을 기록했으며, 계산 비용은 최대 1,000배 적게 소비했다.
• 이 방법은 복잡하고 고차원적인 사후 분포(예: 20차원 GMM, 4개의 목표를 가진 평면 로봇)의 여러 모드를 BBVI와 IAF보다 더 효과적으로 포괄하는 GMM 근사치를 학습한다.
• 다수의 컴포넌트를 학습한 상태에서도 IAF는 평면 로봇 작업에서 VIPS++와 유사한 ELBO를 기록했지만, 두 주요 구성 중 하나의 구성에서만 샘플을 생성하여 모드 커버리지가 열악한 것으로 나타났다.
• 트러스트 영역 프레임워크의 사용은 고차원, 다모드 설정에서도 안정적인 최적화와 원래 목표함수의 정류점 수렴을 보장한다.
• 평가를 위한 참값 샘플은 최대 128개의 CPU 코어에서 2일간의 계산을 사용한 일반화된 타원형 슬라이스 샘플링으로 생성되었으며, 이는 기준 기반의 높은 품질을 확인한다.
• 독일 신용 및 유방암 데이터셋에서 VIPS++는 BBVI와 IAF보다 유의미하게 낮은 MMD 값을 기록하여 다양한 확률 모델에서 뛰어난 샘플 품질을 입증했다.