[논문 리뷰] The Generalized Reparameterization Gradient

Francisco J. R. Ruiz, Michalis K. Titsias외 1명|arXiv (Cornell University)|2016. 10. 07.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 27

한 줄 요약

이 논문은 일반화된 재구성 경사도(g-rep)를 소개한다. 이는 재구성 경사도 기법을 정규분포 외의 변분 분포인 베타분포나 감마분포 등으로 확장하기 위해, 변분 매개변수에 대해 약하게 의존하는 역함수 변환을 사용하는 방법이다. 이는 재구성 경사도와 스코어 함수 경사도를 조합하여, 단 한 개의 몬테카를로 샘플로도 빠르고 정확한 변분 추론을 가능하게 하며, BBVI와 ADVI보다 우수한 가능도 및 수렴 성능을 보인다.

ABSTRACT

The reparameterization gradient has become a widely used method to obtain Monte Carlo gradients to optimize the variational objective. However, this technique does not easily apply to commonly used distributions such as beta or gamma without further approximations, and most practical applications of the reparameterization gradient fit Gaussian distributions. In this paper, we introduce the generalized reparameterization gradient, a method that extends the reparameterization gradient to a wider class of variational distributions. Generalized reparameterizations use invertible transformations of the latent variables which lead to transformed distributions that weakly depend on the variational parameters. This results in new Monte Carlo gradients that combine reparameterization gradients and score function gradients. We demonstrate our approach on variational inference for two complex probabilistic models. The generalized reparameterization is effective: even a single sample from the variational distribution is enough to obtain a low-variance gradient.

연구 동기 및 목표

• 표준 재구성 경사도 기법이 정규분포 변분 가족에 국한되어 있으며, 베타나 감마와 같은 일반적인 분포에는 쉽게 적용되지 않는 한계를 해결하기 위해.
• 재구성 경사도의 저분산 특성을 유지하면서도, 더 넓은 범위의 비공액 확률 모델로의 적용 가능성을 확장하기 위해.
• 복잡한 비정규 변분 가족을 사용하는 블랙박스 변분 추론을 가능하게 하되, 근사 또는 제약 조건이 없는 방식으로.
• 일반화된 재구성 경사도를 사용할 경우, 단 한 개의 몬테카를로 샘플로도 효과적인 경사도 추정이 가능하다는 것을 입증하여 계산 효율성을 향상시키기 위해.

제안 방법

• 변분 매개변수에 대해 약하게 의존하는 변환된 잠재변수의 분포를 가지는 잠재변수의 역함수 변환을 도입한다.
• 변환된 변수에 대한 재구성 경사도와 변환의 자코비안에 대한 스코어 함수 경사도를 조합하여 새로운 경사도 추정기법을 구성한다. 이는 하이브리드 경사도를 생성한다.
• 변수변환 공식을 사용하여 원래의 잠재변수의 로그 밀도를 변환된 변수와 변환의 자코비안로 표현한다.
• 일반화된 재구성 경사도를 변환된 변수와 자코비안에 대한 변분 하한의 경사도 기대값으로 유도한다.
• 감마분포와 베타분포를 가진 잠재변수를 가진 모델에 이 방법을 적용하여, 정규 근사 없이도 효율적인 추론을 가능하게 한다.
• 이전의 변분 가족과 미분 가능한 모델을 재사용함으로써 블랙박스 호환성을 유지하면서도 순수한 스코어 함수 방법의 높은 분산 문제를 피한다.

실험 결과

연구 질문

• RQ1 근사 없이도 재구성 경사도 기법을 정규분포 외의 비정규 변분 분포(베타, 감마 등)로 확장할 수 있는가?
• RQ2 비공액 모델에서 비정규 사후분포를 가진 블랙박스 변분 추론에서 경사도 추정의 분산을 어떻게 줄일 수 있는가?
• RQ3 일반화된 재구성 경사도를 사용할 경우, 단 한 개의 몬테카를로 샘플로도 복잡한 모델에서 충분히 저분산의 경사도 추정이 가능한가?
• RQ4 g-rep은 BBVI나 ADVI와 비교해 수렴 속도와 가능도 품질 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 변환된 분포가 변분 매개변수에 대해 약하게 의존하도록 역함수 변환을 설계할 수 있는가? 이를 통해 효율적인 경사도 계산이 가능해지는가?

주요 결과

• 일반화된 재구성 경사도 기법은 기존의 재구성 경사도로는 다루기 어려운 감마분포나 베타분포와 같은 비정규 분포를 효과적으로 다룰 수 있는 변분 추론을 가능하게 한다.
• 단 한 개의 몬테카를로 샘플로도 저분산 경사도 추정이 가능하여, 계산 효율성이 뛰어나고 BBVI보다 빠른 성능을 발휘한다.
• g-rep는 수렴 속도에서 BBVI를 능가하며, 반복당 1배에서 4배 빠르게 수렴하고 더 높은 ELBO 값을 달성한다.
• nips 및 Omniglot 데이터셋에서 g-rep은 더 높은 테스트 로그 가능도와 낮은 퍼플렉서티를 달성하여 더 나은 모델 적합도를 보였다.
• MNIST 데이터셋에서 g-rep은 ELBO 측면에서 BBVI와 ADVI를 모두 능가하여 더 나은 변분 근사 결과를 보였다. 특히 희소성 특성을 잘 포착할 수 있다는 점에서 유의미했다.
• 생성 샘플의 시각적 점검 결과, g-rep은 ADVI가 생성하는 것보다 더 선명한 이미지를 생성하는 것으로 확인되었으며, 이는 더 나은 사후분포 근사의 가능성을 뒷받침한다.