[논문 리뷰] Reparameterization Gradient for Non-differentiable Models

Wonyeol Lee, Hangyeol Yu외 1명|arXiv (Cornell University)|2018. 01. 01.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 비미분 가능 밀도를 가진 모델에서 확률적 변분 추론을 위한 재매개변수화 경사수 추정기(reparameterization gradient estimator)를 소개한다. 잠재 공간을 미분 가능 영역과 비미분 가능 경계로 분할함으로써, 미세한 영역에서는 표준 재매개변수화를 적용하고, 경계에서는 다양체 샘플링(manifold sampling)을 사용하여, 밀도가 비미분 가능할 경우에도 저분산, 비편향 경사수 추정을 달성한다.

ABSTRACT

We present a new algorithm for stochastic variational inference that targets at models with non-differentiable densities. One of the key challenges in stochastic variational inference is to come up with a low-variance estimator of the gradient of a variational objective. We tackle the challenge by generalizing the reparameterization trick, one of the most effective techniques for addressing the variance issue for differentiable models, so that the trick works for non-differentiable models as well. Our algorithm splits the space of latent variables into regions where the density of the variables is differentiable, and their boundaries where the density may fail to be differentiable. For each differentiable region, the algorithm applies the standard reparameterization trick and estimates the gradient restricted to the region. For each potentially non-differentiable boundary, it uses a form of manifold sampling and computes the direction for variational parameters that, if followed, would increase the boundary’s contribution to the variational objective. The sum of all the estimates becomes the gradient estimate of our algorithm. Our estimator enjoys the reduced variance of the reparameterization gradient while remaining unbiased even for non-differentiable models. The experiments with our preliminary implementation confirm the benefit of reduced variance and unbiasedness.

연구 동기 및 목표

• 비미분 가능 밀도를 가진 모델에서 확률적 변분 추론의 고분산 경사수 추정 문제를 해결하기 위해.
• 미분 가능 모델에 효과적인 재매개변수화 기법을 비미분 가능 모델로 확장하여 편향을 유발하지 않도록 하기 위해.
• 비미분 가능 밀도가 존재하는 상황에서도 경사수 추정의 분산을 낮추면서 비편향성을 유지하기 위해.
• 재매개변수화를 적용하는 미분 가능 영역과 비미분 가능 영역의 경계를 고려한 샘플링을 통합하는 프레임워크를 개발하기 위해.

제안 방법

• 잠재 공간을 밀도가 미분 가능한 영역과 미분 가능성에 실패할 수 있는 경계로 분할한다.
• 각 미분 가능한 영역에서는 표준 재매개변수화 기법을 적용하여 저분산 경사수 추정을 계산한다.
• 비미분 가능한 경계에서는 다양체 샘플링을 사용하여 변분 목표 함수의 가장 급격은 상승 방향을 추정한다.
• 알고리즘은 각 영역과 경계에 대해 별도로 경사수 기여도를 계산한 후, 이를 합쳐 하나의 비편향 경사수 추정치로 만든다.
• 이 방법은 전체 경사수 추정기가 비편향을 유지하면서도 재매개변수화의 저분산 성질을 그대로 유지한다.

실험 결과

연구 질문

• RQ1 재매개변수화 기법은 비미분 가능 모델로 일반화될 수 있는가? 이때 분산과 비편향성은 유지되는가?
• RQ2 잠재 공간의 미분 가능 영역과 비미분 가능 경계 간에 경사수 추정이 어떻게 효과적으로 분해될 수 있는가?
• RQ3 비미분 가능 경계에서 어떤 샘플링 전략이 신뢰할 수 있고 분산이 낮은 경사수 추정치를 제공하는가?
• RQ4 제안된 방법은 비미분 가능 설정에서도 재매개변수화의 분산 감소 효과를 유지하는가?

주요 결과

• 제안된 추정기는 비미분 가능 모델에서 기존 기준 방법에 비해 분산이 크게 감소한 것으로 나타났다.
• 다른 많은 접근 방식과 달리, 밀도가 비미분 가능할 경우에도 추정기는 여전히 비편향성을 유지한다.
• 초기 구현을 통한 실험은 이 방법이 경사수 분산을 줄이는 데 효과적임을 확인한다.
• 영역별 및 경계별 경사수 추정을 조합함으로써, 재매개변수화의 이점을 비미분 가능 모델로 성공적으로 확장하였다.