[논문 리뷰] Doubly Reparameterized Gradient Estimators for Monte Carlo Objectives

George Tucker, Dieterich Lawson외 2명|arXiv (Cornell University)|2018. 10. 09.

Generative Adversarial Networks and Image Synthesis인용 수 12

한 줄 요약

이 논문은 변분 추론에서 몬테카를로 목표 함수를 위한 새로운 비편향 그래디언트 추정기인 이중 재매개변수화 그래디언트(DReG) 추정기를 소개한다. 두 번의 재매개변수화 기법을 적용함으로써 DReG는 이전의 추정기들(예: Roeder 등에 의한 것)에서 존재하는 편향을 제거하며, 샘플 수가 증가함에 따라 분산을 크게 감소시켜, MNIST, Omniglot 및 구조적 예측 작업에서 IWAE, RWS, JVI 목표 함수 전반에 걸쳐 성능 향상을 이룬다.

ABSTRACT

Deep latent variable models have become a popular model choice due to the scalable learning algorithms introduced by (Kingma & Welling, 2013; Rezende et al., 2014). These approaches maximize a variational lower bound on the intractable log likelihood of the observed data. Burda et al. (2015) introduced a multi-sample variational bound, IWAE, that is at least as tight as the standard variational lower bound and becomes increasingly tight as the number of samples increases. Counterintuitively, the typical inference network gradient estimator for the IWAE bound performs poorly as the number of samples increases (Rainforth et al., 2018; Le et al., 2018). Roeder et al. (2017) propose an improved gradient estimator, however, are unable to show it is unbiased. We show that it is in fact biased and that the bias can be estimated efficiently with a second application of the reparameterization trick. The doubly reparameterized gradient (DReG) estimator does not suffer as the number of samples increases, resolving the previously raised issues. The same idea can be used to improve many recently introduced training techniques for latent variable models. In particular, we show that this estimator reduces the variance of the IWAE gradient, the reweighted wake-sleep update (RWS) (Bornschein & Bengio, 2014), and the jackknife variational inference (JVI) gradient (Nowozin, 2018). Finally, we show that this computationally efficient, unbiased drop-in gradient estimator translates to improved performance for all three objectives on several modeling tasks.

연구 동기 및 목표

• 샘플 수가 증가함에 따라 표준 그래디언트 추정기가 IWAE 경계에서 비직관적인 성능 열화를 보이는 이유를 설명한다.
• Roeder 등(2017)이 제안한 IWAE를 위한 그래디언트 추정기에서의 편향을 특정하고 정량화한다.
• 큰 수의 샘플에서도 낮은 분산을 유지하면서 계산 효율성이 높은 비편향 그래디언트 추정기를 개발한다.
• 재분배각각의 각각의 목적 함수에 동일한 이중 재매개변수화 원리를 적용하여, RWS와 JVI와 같은 다른 다중 샘플 학습 기법으로 제안된 방법을 확장한다.
• DReG 추정기가 다양한 생성 모델링 및 구조적 예측 작업에서 학습 안정성과 성능 향상에 실제로 기여하는지 경험적으로 입증한다.

제안 방법

• IWAE 목표 함수를 위한 비편향 그래디언트 추정기를 도출하기 위해 재매개변수화 기법을 두 번 적용함으로써 DReG 추정기를 유도한다.
• DReG 추정기를 도출하기 위해, IWAE 경계의 그래디언트를 추론 네트워크 파라미터와 은닉 변수에 대해 각각 기대값을 취한다.
• DReG 추정기가 비편향이면서 표준 추정기보다 분산이 낮음을 보이며, 특히 샘플 수가 증가할수록 그 효과가 두드러진다.
• RWS와 JVI의 목적 함수에 동일한 이중 재매개변수화 원리를 적용하여 DReG 프레임워크를 이들 기법으로 확장한다.
• 기존 그래디언트 추정기와의 교체가 가능하도록 DReG 추정기를 계산 비용에 변화 없이 직접 구현한다.
• 예: IWAE-DReG와 RWS-DReG의 볼록 조합을 통해 다양한 작업에서 성능 향상을 이룰 수 있는 하이브리드 학습 전략을 탐색한다.

실험 결과

연구 질문

• RQ1 왜 표준 IWAE 경계 그래디언트 추정기는 샘플 수가 증가함에 따라 성능이 열화되는가?
• RQ2 Roeder 등(2017)이 제안한 IWAE를 위한 그래디언트 추정기는 진정으로 비편향인가? 만약 그렇지 않다면 그 편향의 성격은 무엇인가?
• RQ3 두 번째 재매개변수화 기법의 적용이 몬테카를로 목표 함수의 그래디언트 추정에서 편향을 제거하고 분산을 감소시킬 수 있는가?
• RQ4 DReG 프레임워크는 RWS와 JVI와 같은 다른 다중 샘플 변분 추론 방법으로 얼마나 일반화될 수 있는가?
• RQ5 DReG 추정기는 다양한 생성 모델링 및 구조적 예측 작업에서 학습 안정성과 모델 성능 향상에 측정 가능한 기여를 하는가?

주요 결과

• DReG 추정기는 증명된 바에 따라 비편향이며, 특히 샘플 수가 증가함에 따라 표준 추정기보다 분산을 크게 감소시킨다.
• 이전에 비편향으로 여겨졌으나 실제로는 무시할 수 없는 편향이 존재하는 Roeder 등(2017)의 추정기보다 DReG 추정기가 뛰어난 성능을 보인다.
• MNIST와 Omniglot에서, DReG 추정기는 모든 세 가지 목표 함수(IWAE, RWS, JVI)에 대해 테스트 로그우도 경계를 향상시키며, 일관된 분산 감소 효과를 보였다.
• 구조적 예측 작업(예: MNIST 숫자의 하단 반을 예측)에서는 DReG 기반 학습이 편향이 있는 추정기와 표준 비편향 추정기 모두를 초월했으며, RWS-DReG는 후반 학습 단계에서 불안정성이 나타났다.
• IWAE-DReG와 RWS-DReG의 볼록 조합은 일부 작업에서 성능 향상을 이끌어냈지만, 최적의 가중치는 작업에 따라 달라졌다.
• DReG 추정기는 원래 추정기와 동일한 계산 비용을 유지하므로, 향상된 학습 효율성과 안정성 확보를 위한 실용적인 즉시 교체 가능한 대체 수단이다.