[논문 리뷰] Pathwise Derivatives Beyond the Reparameterization Trick

Martin Jankowiak, Fritz Obermeyer|arXiv (Cornell University)|2018. 06. 05.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 26

한 줄 요약

이 논문은 재파rameterization 트릭의 일반화로 최적 질량 운반(Optimal Mass Transport, OMT) 기반 기울기를 도입하여, 기존 재파rameterization에 적합하지 않은 분포인 감마(Gamma), 베타(Beta), 딜리클레( Dirichlet) 분포에 대해서도 저분산 경로 기반 기울기를 가능하게 한다. 이는 Cholesky 분해로 표현된 다변수 정규분포에 대한 재파rameterization 트릭이 최적 운반 이론의 관점에서 최적이 아니라는 것을 보여주며, 이로 인해 기울기의 분산을 줄이고 가우시안 프로세스 회귀 및 변분 추론 작업에서 성능을 향상시킬 수 있는 개선된 기울기를 유도한다.

ABSTRACT

We observe that gradients computed via the reparameterization trick are in direct correspondence with solutions of the transport equation in the formalism of optimal transport. We use this perspective to compute (approximate) pathwise gradients for probability distributions not directly amenable to the reparameterization trick: Gamma, Beta, and Dirichlet. We further observe that when the reparameterization trick is applied to the Cholesky-factorized multivariate Normal distribution, the resulting gradients are suboptimal in the sense of optimal transport. We derive the optimal gradients and show that they have reduced variance in a Gaussian Process regression task. We demonstrate with a variety of synthetic experiments and stochastic variational inference tasks that our pathwise gradients are competitive with other methods.

연구 동기 및 목표

• 재파라미터화 트릭을 초월하여 기존 재파라미터화에 적합하지 않은 분포, 예를 들어 감마, 베타, 딜리클레 분포에 대해 경로 기반 기울기 추정을 체계적으로 확장하는 것.
• 최적 운반 이론을 활용하여 최적의 경로 기반 기울기를 식별하고 유도하며, 일부 경우에서 표준 재파라미터화 기울기가 최적이 아니라는 것을 보여주는 것.
• 특히 Cholesky 분해로 파arameter화된 다변수 정규분포에 대해 기울기의 분산을 줄이는 것.
• 가우시안 프로세스 회귀 및 합성 변분 추론 작업을 포함한 실제 응용에서 성능 향상을 입증하는 것.

제안 방법

• 최적 운반 이론에서 운반 방정식의 해와 재파라미터화 트릭 사이의 대응 관계를 수립한다.
• 최적 운반 이론의 관점에서 분산을 최소화하는 해로서 최적 경로 기반 기울기(OMT 기울기)를 유도한다.
• Cholesky 인자로 파arameter화된 다변수 정규분포에 대해 OMT 프레임워크를 적용하여 폐쇄형 해를 도출하며, 표준 재파라미터화 기울기가 최적이 아니라는 것을 보여준다.
• 감마, 베타, 딜리클레와 같은 단변량 분포에 대해 운반 방정식의 수치적 해를 활용해 고정밀도 근사 경로 기반 기울기를 개발한다.
• 다변량 환경에서 재파라미터화 기울기와 OMT 기울기 간 기하학적 차이를 시각화하기 위해 속도장 시각화를 수행한다.
• 단일 샘플 기울기 추정기로 사용되는 합성 실험과 실제 작업(가우시안 프로세스 회귀 및 희소 감마 정규화 모델 포함)을 통해 성능를 검증한다.

실험 결과

연구 질문

• RQ1 감마, 베타, 딜리클레 분포처럼 표준 재파라미터화가 불가능한 분포에 대해 체계적으로 경로 기반 기울기를 도출할 수 있는가?
• RQ2 Cholesky 분해로 표현된 다변수 정규분포에 대해 표준 재파라미터화 트릭이 최적 운반 이론의 관점에서 최적이 아닌가?
• RQ3 OMT 기울기는 기울기 분산을 줄이고 스위치드 변분 추론에서 수렴성을 향상시킬 수 있는가?
• RQ4 ELBO 최적화 및 학습 안정성 측면에서 OMT 기울기는 스코어 함수 추정기와 재파라미터화 추정기와 비교해 어떻게 성능을 냅니까?

주요 결과

• Cholesky 분해로 표현된 다변수 정규분포에 대한 재파라미터화 트릭은 속도장에서 큰 회전 성분을 유발하며, 이는 최적 운반 이론의 관점에서 최적이 아니라는 것을 시사한다.
• 다변수 정규분포에 대한 OMT 기울기는 해석적으로 도출되었으며, 가우시안 프로세스 회귀 작업에서 재파라미터화 기울기보다 분산이 낮다는 것이 입증되었다.
• 감마, 베타, 딜리클레 분포에 대해서는 최적 운반 프레임워크를 활용해 고정밀도 근사 경로 기반 기울기를 성공적으로 계산하였다.
• 합성 실험에서 OMT 기울기는 재파라미터화 트릭과 스코어 함수 추정기보다 낮은 분산과 더 빠른 수렴을 달성하였다.
• 희소 감마 정규화 모델에서 OMT 기울기 추정기는 재파라미터화 트릭을 능가했으며, 더 높은 ELBO를 달성하고 더 빠르게 수렴하였다.
• 복잡한 재파라미터화 불가능한 가능도를 가진 다양한 변분 추론 작업 전반에서 OMT 기울기 추정기는 일관된 성능 향상을 보였다.