[논문 리뷰] Hierarchical Variational Models

Rajesh Ranganath, Dustin Tran외 1명|arXiv (Cornell University)|2015. 11. 07.

Gaussian Processes and Bayesian Inference참고 문헌 45인용 수 17

한 줄 요약

이 논문은 변분 매개변수에 사전분포를 두어 더 풍부한 사후 근사값을 가능하게 하면서도 블랙박스 계산 효율성을 유지하는, 계층적 변분 모델(HVMs)을 소개한다. HVMs는 깊이 있는 이산 잠재변수 모델에서 특히 뛰어난 근사 정밀도를 보이며, 텍스트 데이터셋에서 평균장 변분 추론보다 최대 180점 낮은 퍼플렉서티를 달성한다.

ABSTRACT

Black box variational inference allows researchers to easily prototype and evaluate an array of models. Recent advances allow such algorithms to scale to high dimensions. However, a central question remains: How to specify an expressive variational distribution that maintains efficient computation? To address this, we develop hierarchical variational models (HVMs). HVMs augment a variational approximation with a prior on its parameters, which allows it to capture complex structure for both discrete and continuous latent variables. The algorithm we develop is black box, can be used for any HVM, and has the same computational efficiency as the original approximation. We study HVMs on a variety of deep discrete latent variable models. HVMs generalize other expressive variational distributions and maintains higher fidelity to the posterior.

연구 동기 및 목표

• 잠재변수 간 사후 의존성을 포착하지 못하는 평균장 변분 추론의 한계를 해결한다.
• 고차원 모델에 대해 계산 효율성을 유지하면서도 유연하고 표현력 있는 변분 가족을 개발한다.
• 이산 잠재변수를 가진 복잡한 모델, 예를 들어 깊이 있는 지수족 모델에서 효과적인 추론을 가능하게 한다.
• 변분 매개변수에 사전분포를 도입하여 기존의 변분 가족을 일반화한다.
• 연속 및 이산 잠재변수 모두에 대해 근사 정밀도를 향상시키면서도 블랙박스 추론 능력을 유지한다.

제안 방법

• 기본 변분 가족 $ q_{\text{mf}}(\boldsymbol{z}; \boldsymbol{\lambda}) $ 의 매개변수 $ \boldsymbol{\lambda} $ 에 대해 사전분포 $ q(\boldsymbol{\lambda}; \boldsymbol{\theta}) $ 를 두어 계층적 변분 모델을 구성함으로써, 적분된 분포 $ q_{\text{hvm}}(\boldsymbol{z}; \boldsymbol{\theta}) = \int q(\boldsymbol{\lambda}; \boldsymbol{\theta}) \prod_i q(z_i; \boldsymbol{\lambda}_i) d\boldsymbol{\lambda} $ 를 도출한다.
• 정규화 플로우(예: 플라나르 플로우)를 사용하여 사전분포 $ q(\boldsymbol{\lambda}; \boldsymbol{\theta}) $ 를 모델링함으로써, 비정규 분포를 가진 매개변수 분포의 유연성을 확보한다.
• 초매개변수 $ \boldsymbol{\theta} $ 를 최적화하기 위해 블랙박스 변분 추론을 적용함으로써, 표준 평균장 추론과 동일한 계산 효율성을 유지한다.
• 기존의 변분 가족에 계층적 사전분포를 통합함으로써, 사후분포의 복잡한 의존성과 다중모달 구조를 포착할 수 있도록 한다.
• 추론 중에 공동 사후분포 $ q(\boldsymbol{\lambda} \mid \boldsymbol{z}, \boldsymbol{\theta}) $ 를 활용하여 매개변수 추정을 개선하고 근사 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 계산 효율성이 유지되는 동시에 평균장보다 더 표현력 있는 변분 가족을 구성할 수 있는가?
• RQ2 변분 매개변수에 계층적 사전분포를 두는 것이 이산 잠재변수를 가진 모델에서 사후 근사 정밀도를 어떻게 향상시키는가?
• RQ3 깊이 있는 잠재변수 모델, 예를 들어 깊이 있는 지수족 모델에서 HVMs는 평균장 변분 추론보다 어느 정도 뛰어나게 되는가?
• RQ4 평균장이 실패하는 다층 희귀도 분포와 베르누이 깊이 있는 지수족 모델에서 HVMs는 효과적으로 다중층 모델을 모델링할 수 있는가?
• RQ5 변분 가족의 계층적 구조가 모델 깊이에 대한 민감도를 감소시키고 다양한 데이터셋에서 일반화 성능을 향상시키는가?

주요 결과

• HVMs는 두 텍스트 데이터셋에서 여섯 개의 모델에 대해 평균장 변분 추론보다 평균 퍼플렉서티가 180점 낮게 나타내며, 다층 모델에서도 일관된 성능 향상을 보였다.
• 사이언스 데이터셋에서 HVMs는 다중 수준 희귀도 모델이 최적임을 식별했지만, 평균장 변분 추론은 낮은 근사 정밀도로 인해 이러한 구조를 탐지하지 못했다.
• 뉴욕타임즈 데이터셋에서 HVMs는 여섯 모델 중 다섯 개에서 평균장보다 뛰어난 성능을 보였으며, 이중 두 층의 베르누이 모델에서만 평균장이 HVMs를 앞섰다.
• HVMs는 평균장 변분 추론이 수렴하거나 의미 있는 결과를 도출하지 못하는 다중 수준 희귀도 깊이 있는 지수족 모델에서도 효과적인 추론을 가능하게 하였다.
• 변분 매개변수에 정규화 플로우를 사전분포로 사용함으로써 계산 효율성을 유지하면서도 모델링의 유연성이 크게 향상되었다.
• HVMs는 복잡한 사후 의존성과 다중모달 구조를 포착하면서도 블랙박스 추론 효율성을 유지하였으며, 특히 깊이 있는 이산 잠재변수 모델에서 뛰어난 성능을 보였다.