[논문 리뷰] Data Analysis Recipes: Products of multivariate Gaussians in Bayesian inferences

David W. Hogg, Adrian M. Price-Whelan외 1명|arXiv (Cornell University)|2020. 05. 28.

Particle physics theoretical and experimental studies참고 문헌 9인용 수 5

한 줄 요약

이 논문은 우주과학 및 물리학에서 흔한 선형-정규 분포 모델에서 선형 매개변수를 근사적으로 처리하기 위해, 우도와 사전확률이 모두 선형 매개변수에 대해 선형의 평균을 가지는 다변량 정규분포일 경우, 베이지안 추론에서 선형 매개변수를 정확히 통합하는 해석적 해를 제시한다. 두 정규분포의 곱이 다시 정규분포가 되는 성질을 활용하여, 결합 사후확률을 통합된 우도와 사후확률으로 재구성함으로써, 더 빠르고 정밀한 추론을 가능하게 한다.

ABSTRACT

A product of two Gaussians (or normal distributions) is another Gaussian. That's a valuable and useful fact! Here we use it to derive a refactoring of a common product of multivariate Gaussians: The product of a Gaussian likelihood times a Gaussian prior, where some or all of those parameters enter the likelihood only in the mean and only linearly. That is, a linear, Gaussian, Bayesian model. This product of a likelihood times a prior pdf can be refactored into a product of a marginalized likelihood (or a Bayesian evidence) times a posterior pdf, where (in this case) both of these are also Gaussian. The means and variance tensors of the refactored Gaussians are straightforward to obtain as closed-form expressions; here we deliver these expressions, with discussion. The closed-form expressions can be used to speed up and improve the precision of inferences that contain linear parameters with Gaussian priors. We connect these methods to inferences that arise frequently in physics and astronomy. If all you want is the answer, the question is posed and answered at the beginning of Section 3. We show two toy examples, in the form of worked exercises, in Section 4. The solutions, discussion, and exercises in this Note are aimed at someone who is already familiar with the basic ideas of Bayesian inference and probability.

연구 동기 및 목표

• 선형-정규 분포 베이지안 모델에서 선형 매개변수를 정확히 통합하기 위한 해석적 해를 유도하는 것.
• 선형 매개변수와 정규 사전확률을 포함한 베이지안 추론에서 계산 효율성과 수치 정밀도를 향상시키는 것.
• 천문학 및 데이터 과학 분야의 실제 문제에 적용 가능한 실용적이고 해석적으로 다룰 수 있는 방법을 제공하는 것.
• 우도와 사전확률이 매개변수에 대해 선형이면서 공동 정규분포일 경우, 수치적 적분 없이도 통합이 가능함을 보여주는 것.
• 비선형 초모수에 대한 계층적 또는 초사전확률 구조가 있는 모델에 일반화할 수 있는지 검토하는 것.

제안 방법

• 두 다변량 정규분포의 곱이 다른 정규분포가 되는 수학적 성질을 활용한다.
• 우도가 데이터에 대해 정규분포이며 평균이 매개변수에 대해 선형인 경우(설계 행렬 M를 통해), 사전확률이 매개변수에 대해 정규분포이며 평균 μ와 공분산 Λ를 가진다고 가정한다.
• 베이즈 정리를 적용하여 결합 사후확률을 통합된 우도와 사후확률의 곱으로 재구성하며, 이 둘 모두 해석적으로 다룰 수 있는 정규분포이다.
• 통합된 우도와 사후확률 분포의 평균과 공분산에 대한 해석적 표현을 유도한다.
• 정규분포의 밀도함수에 좌표에 의존하지 않는 행렬식과 이차형식 표현을 사용하여 명시적인 차원 의존성을 피한다.
• 선형 회귀와 이중성계의 중력속도 모델링에서의 두 가지 구체적 사례를 통해 방법을 검증하였으며, 계산 속도 향상과 수치 안정성을 입증하였다.

실험 결과

연구 질문

• RQ1 선형-정규 분포 베이지안 모델에서 선형 매개변수의 통합이 수치적 적분 없이 수행될 수 있는가?
• RQ2 우도와 사전확률이 모두 다변량 정규분포일 경우, 통합된 우도와 사후확률의 평균과 공분산에 대한 해석적 표현은 무엇인가?
• RQ3 기존의 MCMC나 적분법에 비해 이 해석적 접근법이 계산 효율성과 수치 정밀도에서 어떤 개선을 이룬다?
• RQ4 어떤 천문학적 맥락에서 이 방법이 가장 높은 성능 향상을 제공하는가?
• RQ5 이 방법은 비선형 매개변수에 대한 계층적 또는 초사전확률 구조가 있는 모델로 일반화될 수 있는가?

주요 결과

• 매개변수에 대해 선형의 평균을 가지는 다변량 정규분포 우도와 다변량 정규분포 사전확률의 곱은, 결합 사후확률로 표현되며, 이는 해석적으로 통합된 우도와 사후확률으로 분해될 수 있으며, 이 둘 모두 다변량 정규분포이다.
• 통합된 우도와 사후확률의 평균과 공분산는 해석적으로 유도되었으며, 적분이나 샘플링 없이 직접 계산이 가능하다.
• 이 방법은 특히 고차원 설정에서 선형 매개변수와 정규 사전확률을 포함한 추론 작업에서 계산 속도와 수치 정밀도를 크게 향상시킨다.
• 선형 회귀 문제와 이중성계의 중력속도 모델링이라는 두 가지 실용적 사례에서 방법이 검증되었으며, 이는 추론 속도를 높이고 수치적 불안정성을 피하는 데 성공하였다.
• 유도된 표현식은 차원에 영향을 받지 않으며, 데이터나 매개변수의 차원에 명시적인 의존성을 피하기 위해 좌표에 의존하지 않는 정규분포 밀도함수의 형태를 사용한다.
• 이 방법은 비선형 초모수 추론과 분리된 선형 부수적 매개변수의 통합을 가능하게 하여 계층적 추론을 효율적으로 지원한다.