[논문 리뷰] Importance Weighted Hierarchical Variational Inference

Artem Vladimirovich Sobolev, Dmitry Vetrov|arXiv (Cornell University)|2019. 01. 01.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 비가역 증거 하한의 점점 더 날카운 하한을 제공함으로써 더 표현력 있는 계층적 변분 사후 분포를 가능하게 하는 새로운 가족인 중요도 가중치 계층적 변분 추론(IWHVI)을 소개한다. 이 방법은 기존의 방법들인 계층적 VAE 및 반의미적 변분 추론을 일반화하며, 실험적 평가에서 향상된 성능을 보여준다.

ABSTRACT

Variational Inference is a powerful tool in the Bayesian modeling toolkit, however, its effectiveness is determined by the expressivity of the utilized variational distributions in terms of their ability to match the true posterior distribution. In turn, the expressivity of the variational family is largely limited by the requirement of having a tractable density function. To overcome this roadblock, we introduce a new family of variational upper bounds on a marginal log-density in the case of hierarchical models (also known as latent variable models). We then derive a family of increasingly tighter variational lower bounds on the otherwise intractable standard evidence lower bound for hierarchical variational distributions, enabling the use of more expressive approximate posteriors. We show that previously known methods, such as Hierarchical Variational Models, Semi-Implicit Variational Inference and Doubly Semi-Implicit Variational Inference can be seen as special cases of the proposed approach, and empirically demonstrate superior performance of the proposed method in a set of experiments.

연구 동기 및 목표

• 유사도 계산이 가능한 밀도 요구 조건으로 인해 표준 변분 추론이 복잡한 사후 분포를 표현하는 데 한계가 있음.
• 계층적 모델을 위한 점점 더 날카운 변분 하한의 가족을 개발하여 사후 근사 품질을 향상시키기.
• 계층적 VAE, 반의미적 변분 추론, 이중 반의미적 변분 추론 등의 기존 방법들을 하나의 프레임워크로 통합하고 일반화하기.
• 계산 가능성을 유지하면서도 더 표현력 있는 변분 가족을 사용할 수 있도록 하기.

제안 방법

• 중요도 가중치 원리를 바탕으로 계층적 모델의 주변 로그 밀도에 대한 새로운 상한 가족을 제안한다.
• 계층적 구조를 활용하여 표준 증거 하한(ELBO)에 대한 점점 더 날카운 변분 하한의 시퀀스를 구성한다.
• 명시적인 밀도 계산이 필요 없이도 더 표현력 있는 사후 근사가 가능한 계층적 변분 가족을 도입한다.
• 중요도 가중치를 활용하여 진정한 사후의 근사치를 향상시켜 변분 하한의 품질을 향상시킨다.
• 반의미적 및 이중 반의미적 사후를 특수 케이스로 수용할 수 있는 ELBO의 일반화를 유도한다.
• 계층적 구조를 사용하여 잠재 변수를 분리함으로써 변분 근사의 유연성을 향상시킨다.

실험 결과

연구 질문

• RQ1 더 표현력 있는 사후 근사를 허용하는 계층적 모델을 위한 더 날카운 변분 하한을 구성할 수 있는가?
• RQ2 제안된 방법은 계층적 VAE 및 반의미적 변분 추론과 같은 기존 방법보다 어떻게 향상되는가?
• RQ3 계층적 구조와 중요도 가중치가 잠재 변수 모델에서 사후 추정에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 기존의 변분 추론 방법들을 공통 이론적 형식으로 통합하고 일반화할 수 있는가?

주요 결과

• 제안된 방법은 표준 ELBO보다 더 날카운 변분 하한을 달성하여 진정한 사후 분포의 근사 품질을 향상시킨다.
• 이 방법은 계층적 VAE 및 반의미적 변분 추론과 같은 기존 방법들을 특수 케이스로 일반화하며, 더 넓은 적용 가능성을 보여준다.
• 실험 결과는 다양한 계층적 모델링 과제에서 기준 방법들보다 뛰어난 성능을 보여준다.
• 계층적 구조 내에서 중요도 가중치를 사용함으로써 계산 가능성을 유지하면서도 더 정확한 사후 추정이 가능하다.