[논문 리뷰] Fast and Simple Natural-Gradient Variational Inference with Mixture of Exponential-family Approximations

Lin Wu, Mohammad Emtiyaz Khan외 1명|arXiv (Cornell University)|2019. 06. 07.

Gaussian Processes and Bayesian Inference참고 문헌 58인용 수 12

한 줄 요약

이 논문은 혼합형 지수족(Exponential Family, EF) 근사에 대해 자연미분 경사하강법을 빠르고 단순하게 적용할 수 있도록 최소 조건부 지수족(Minimal Conditional-Exponential Family, MCEF) 표현을 도입함으로써, 복잡하고 多모달(Posterior) 분포에 대해 효율적인 자연미분 경사하강 업데이트를 가능하게 한다. 이는 블랙박스 경사하강법보다 빠른 수렴 속도를 달성하면서도, 전통적인 최소 지수족 근사 이상의 계산 단순성을 유지한다.

ABSTRACT

Natural-gradient methods enable fast and simple algorithms for variational inference, but due to computational difficulties, their use is mostly limited to \emph{minimal} exponential-family (EF) approximations. In this paper, we extend their application to estimate \emph{structured} approximations such as mixtures of EF distributions. Such approximations can fit complex, multimodal posterior distributions and are generally more accurate than unimodal EF approximations. By using a \emph{minimal conditional-EF} representation of such approximations, we derive simple natural-gradient updates. Our empirical results demonstrate a faster convergence of our natural-gradient method compared to black-box gradient-based methods with reparameterization gradients. Our work expands the scope of natural gradients for Bayesian inference and makes them more widely applicable than before.

연구 동기 및 목표

• 최소 지수족 근사 이외의 자연미분 경사하강 변분 추론을 구조적이고 민첩한 분포, 예를 들어 지수족 혼합 모델로 확장하기.
• 혼합형 및 곡선형 지수족 분포의 자연미분 경사하강 계산에 대한 계산적 과제 해결하기.
• 최소 조건부 지수족(MCEF) 표현을 사용하여 이러한 복잡한 근사에 대해 단순하고 닫힌 형태의 자연미분 경사하강 업데이트 유도하기.
• 기존의 표준 블랙박스 경사하강 기반 방법과 비교해 수렴 속도와 안정성을 향상시키기.
• 베이지안 추론에서 복잡한 사후 분포에 대해 자연미분 경사하강 방법의 적용 범위를 넓히기.

제안 방법

• 최소 지수족을 일반화하고 혼합형 및 곡선형 지수족를 포함하는 최소 조건부 지수족(MCEF) 표현을 도입.
• MCEF 형태와 연관된 기대값 매개변수(parameterization)를 사용하여 자연미분 경사하강의 효율적 계산 가능하게 하기.
• 피셔 정보 행렬을 명시적으로 계산하지 않고도 자연매개변수 공간에서 닫힌 형태의 자연미분 경사하강 업데이트 유도.
• 재매개변수화와 확률적 최적화를 통해 가우시안 혼합 모델 및 대칭 정규-역치분포와 같은 다양한 모델에 적용.
• 자기적 최적화(예: Adam 방식 업데이트)를 자연미분 경사하강 성분과 결합하여 안정적이고 빠른 수렴 달성.
• MCEF 프레임워크 하에서 충분통계량과 스코어 함수를 사용해 평균 및 정밀도 매개변수에 대한 업데이트 유도.

실험 결과

연구 질문

• RQ1 혼합형 지수족 근사에 대해 자연미분 경사하강 업데이트를 효율적으로 도출할 수 있는가? 이는 최소 지수족보다 더 표현력이 뛰어나다.
• RQ2 MCEF 표현을 통해 피셔 정보 행렬의 역행렬 계산 없이도 닫힌 형태의 자연미분 경사하강 업데이트를 가능하게 하는가?
• RQ3 제안된 방법의 수렴 속도는 재매개변수화 경사하강 기반 블랙박스 변분 추론과 비교해 어떻게 되는가?
• RQ4 다모달 및 복잡한 사후 분포를 다룰 때도 단순성과 빠른 수렴을 유지할 수 있는가?
• RQ5 구조적 변분 근사가 필요한 모델에서의 방법의 실증 성능는 어떠한가?

주요 결과

• 모든 테스트 모델에서 재매개변수화 경사하강 기반 블랙박스 방법보다 빠른 수렴 속도를 달성.
• MCEF 표현을 사용해 혼합형 및 곡선형 지수족 분포에 대해 닫힌 형태의 자연미분 경사하강 업데이트를 도출.
• 계산 단순성을 유지하고 명시적 피셔 정보 행렬의 역행렬 계산을 피함으로써 효율적인 최적화 가능.
• 실증 결과에 따르면, 이 방법은 다모달 사후 분포를 효과적으로 포착하며, 단모달 지수족 근사보다 정확도에서 뛰어난 성능을 보임.
• 가우시안 프로세스, 딥 네ural 네트워크, 대칭 정규-역치분포 사전을 갖는 모델을 포함한 다양한 모델에 적용 가능.
• 자기적 최적화와 자연미분 경사하강 성분을 조합하면 실질적으로 안정적이고 빠른 수렴 달성.