[논문 리뷰] Implicit Reparameterization Gradients

Michael Figurnov, Shakir Mohamed외 1명|arXiv (Cornell University)|2018. 05. 22.

Neural Networks and Applications참고 문헌 7인용 수 63

한 줄 요약

Implicit reparameterization gradients 기반의 암묵적 재매개화 기울은 수치적으로 구현 가능한 CDF를 가지는 연속 분포(Gamma, Beta, Dirichlet, von Mises 등)에서 표준 재매개화 트릭이 실패하는 경우를 다루고, 다양한 응용에서 더 빠르고 더 정확한 그래디언트를 보여준다.

ABSTRACT

By providing a simple and efficient way of computing low-variance gradients of continuous random variables, the reparameterization trick has become the technique of choice for training a variety of latent variable models. However, it is not applicable to a number of important continuous distributions. We introduce an alternative approach to computing reparameterization gradients based on implicit differentiation and demonstrate its broader applicability by applying it to Gamma, Beta, Dirichlet, and von Mises distributions, which cannot be used with the classic reparameterization trick. Our experiments show that the proposed approach is faster and more accurate than the existing gradient estimators for these distributions.

연구 동기 및 목표

• 고전적인 재매개화 트릭에 적합한 분포를 넘어 경로적 경사 추정의 동기를 부여하고 확장한다.
• 표준화 함수를 역전시키지 않도록 암묵적 미분에 기초한 그래디언트 기술을 개발한다.
• 도전적인 연속 분포에 대해 기존 추정기들에 비해 계산상의 개선과 정확도 향상을 보여준다.

제안 방법

• 분포 매개변수에 대해 표준화 함수를 미분하고 암묵적 미분을 적용하여 표준화를 역전시키지 않고 dz/dphi를 얻도록 암묵적 재매개화 기울을 형식화한다.
• ∇_phi z = - (∇_z S_phi(z))^{-1} ∇_phi S_phi(z) 임을 보여주어 표준화 함수의 도함수만으로 기울을 계산할 수 있게 한다.
• 단변량 분포에 대해 CDF를 보편적 표준화 함수로 사용하여 ∇_phi z = - (∇_phi F(z|phi)) / q_phi(z) 가 되도록 한다.
• 연속적(조건부) 코퓰라 기반 변환 S_phi(z) = (F(z1|phi), F(z2|z1,phi), ..., FD(zD|z1,...,zD-1,phi))을 통해 다변량 분포로 확장한다.
• 자동 미분을 활용하여 CDF와 표준화 함수의 필요한 도함수를 계산하고 수치적으로 다룰 수 있는 기울을 가능하게 한다.
• 실용적인 알고리듬적 단계들을 제시하고 분포 간에 암묵적 기울과 명시적 재매개화 간의 차이를 비교한다.

실험 결과

연구 질문

• RQ1 폐쇄형 역 CDF가 존재하지 않는 연속 분포에 대해 암묵적 재매개화 기울이 불편분산 없는 편향 없는 기울을 제공할 수 있는가?
• RQ2 Gamma, Beta, Dirichlet, von Mises 등과 같은 분포에서 암묵적 기울이 기존 추정기에 비해 속도와 정확도 이점을 제공하는가?
• RQ3 latent Dirichlet 할당과 비정규 잠재 변수를 갖는 변분 오토인코더와 같은 응용에서 암묵적 접근 방식은 어떻게 작동하는가?
• RQ4 이 프레임워크에서 단변량 및 다변량 분포에 대한 CDF 기반 표준화가 실용적인 보편적 선택인가?

주요 결과

• 암묵적 기울은 다루기 쉬운 CDF를 가지는 분포의 매개변수에 대한 기대값의 기울에 대해 편향되지 않은 추정치를 제공한다.
• 본 방법은 여러 도전적인 분포에 대해 기존 추정기보다 더 빠르고 정확한 기울을 산출한다.
• 이 접근법은 Latent Dirichlet Allocation에 대한 블랙박스 암묵적 추론을 가능하게 하며 Gamma, Beta, von Mises 잠재 변수를 갖는 VAE를 학습시킬 수 있다.
• 암묵적 방법은 표준화 함수를 역전시킬 필요가 없고 CDF에 대해 자동 미분을 활용할 수 있다.
• 그들은 넓은 맥락에서 높은 분산의 스코어-함수 추정기를 피하는 일반적인 프레임워크를 제공한다.