[논문 리뷰] Multivariate Gaussian Variational Inference by Natural Gradient Descent

Timothy D. Barfoot|arXiv (Cornell University)|2020. 01. 27.

Blind Source Separation Techniques참고 문헌 7인용 수 7

한 줄 요약

이 논문은 평균과 역공분산 행렬의 하이브리드 파arameterization을 사용한 다변량 정규 분포 변분 추론을 위한 자연 경사 하강법(NGD)을 제안한다. 피셔 정보 행렬과 크로네커 대수를 활용한 행렬 미적분을 통해, 역공분산 행렬의 대칭성과 희소성 구조를 효율적으로 다루어 안정적이고 희소성 유지 최적화를 가능하게 하며, 수렴성과 계산 효율성을 향상시키는 닫힌 형태의 업데이트를 제공한다.

ABSTRACT

This short note reviews so-called Natural Gradient Descent (NGD) for multivariate Gaussians. The Fisher Information Matrix (FIM) is derived for several different parameterizations of Gaussians. Careful attention is paid to the symmetric nature of the covariance matrix when calculating derivatives. We show that there are some advantages to choosing a parameterization comprising the mean and inverse covariance matrix and provide a simple NGD update that accounts for the symmetric (and sparse) nature of the inverse covariance matrix.

연구 동기 및 목표

• 자연 경사 하강법을 활용하여 다변량 정규 분포 변분 추론을 위한 효율적인 최적화 방법을 개발한다.
• 특히 대칭성과 희소성에 중점을 두고, 다양한 정규 분포 파arameterization에서 피셔 정보 행렬(FIM)을 분석한다.
• 평균과 역공분산의 하이브리드 파arameterization이 다른 표현 방식보다 계산 및 수치적 우수성을 제공하는지 확인한다.
• 역공분산 행렬의 대칭성과 희소성 구조를 존중하는 닫힌 형태의 NGD 업데이트를 유도한다.
• 최적화 과정에서 역공분산의 희소성을 유지하여 대규모 문제에 대한 확장성을 확보한다.

제안 방법

• 다양한 정규 분포 파arameterization(예: 평균과 역공분산 포함)에 대해 행렬 미적분과 미분을 사용하여 피셔 정보 행렬(FIM)을 유도한다.
• 벡터화 및 크로네커 곱 항등식을 적용하여 행렬 표현의 도함수를 계산하며, 특히 대칭 행렬에 대해 적용한다.
• 대칭 행렬 파arameterization에서 중복을 방지하기 위해 vech 연산자와 복제 행렬을 사용한다.
• 역공분산은 변분 손실의 헤시안을 통해 업데이트되는 하이브리드 NGD 업데이트를 제안한다: $\Sigma^{-1} \leftarrow \frac{\partial^2 V}{\partial \mu^T \partial \mu}$.
• 두 단계 업데이트를 구현한다: $\Sigma^{-1} \delta\mu = -\frac{\partial V}{\partial \mu^T}$ 이후 $\Sigma^{-1} \leftarrow \frac{\partial^2 V}{\partial \mu^T \partial \mu}$로, 대칭성과 희소성을 보장한다.
• 우도의 인수분해를 활용하여 역공분산의 희소성을 유지한다. 즉, $\Sigma^{-1} = \sum_k \mathbf{P}_k^T \frac{\partial^2 V_k}{\partial \mu_k^T \partial \mu_k} \mathbf{P}_k$로 표현되어 업데이트 간 희소성 패턴이 유지된다.

실험 결과

연구 질문

• RQ1 평균, 공분산 또는 역공분산 등의 파arameterization 선택이 다변량 정규 분포 변분 추론에서 자연 경사 하강법의 효율성과 안정성에 미치는 영향은 무엇인가?
• RQ2 공분산 및 역공분산 행렬의 대칭성은 기울기 계산 과정에서 중복 없이 적절히 고려될 수 있는가?
• RQ3 평균과 역공분산의 하이브리드 파arameterization은 더 단순하고 안정적이며, 희소성 유지가 가능한 NGD 업데이트를 이끌어낼 수 있는가?
• RQ4 피셔 정보 행렬은 정규 분포 변분 가족의 자연 경사 하강 업데이트 형상에 어떤 역할을 하는가?
• RQ5 고차원 문제에서 역공분산 행렬의 희소성을 최적화 과정에서 유지하기 위해 어떤 전략이 필요한가?

주요 결과

• 평균과 역공분산의 하이브리드 파arameterization은 다른 파arameterization보다 더 자연스럽고 계산 효율성이 높은 NGD 업데이트를 제공한다.
• 역공분산에 대한 NGD 업데이트는 $\Sigma^{-1} \leftarrow \frac{\partial^2 V}{\partial \mu^T \partial \mu}$로 유도되며, 이는 업데이트를 단순화하고 중복 행렬 항을 방지한다.
• 이 방법은 역공분산의 희소성을 내재적으로 유지한다. 헤시안 업데이트가 인수분해된 우도의 희소성 패턴을 그대로 이어받기 때문이다.
• 전체 피셔 정보 행렬의 직접 계산을 피하고, 변분 손실의 국소 도함수를 사용하여 자연 경사 하강을 효율적으로 계산한다.
• 로봇 공학 및 대규모 확률 모델에 대한 응용에서 보듯이, 이 방법은 고차원 설정에서도 확장 가능한 추론을 가능하게 한다.
• 벡터화 및 크로네커 대수를 활용한 행렬 미적분은 대칭 행렬에 대한 기울기와 헤시안을 수동 중복 없이 체계적으로 도출할 수 있게 한다.