[논문 리뷰] Variance reduction properties of the reparameterization trick

Ming Xu, Matias Quiroz외 2명|arXiv (Cornell University)|2018. 09. 27.

Molecular Biology Techniques and Applications인용 수 5

한 줄 요약

이 논문은 변분 추론에서 재매개변수화 기법이 기울기 분산을 줄이는 이유에 대한 이론적 분석을 제공한다. 평균-장 가우시안 및 이차 로그-합밀도 가정 하에, 재매개변수화 기법은 샘플링 영역에서의 변동성이 감소함으로써 스코어 함수 추정기보다 낮은 변동성을 가진 기울기 추정기를 제공함을 보여준다. 주요 기여는 재매개변수화 기법의 실험적 성공을 설명하는 공식적 분산 분해이다.

ABSTRACT

The reparameterization trick is widely used in variational inference as it yields more accurate estimates of the gradient of the variational objective than alternative approaches such as the score function method. Although there is overwhelming empirical evidence in the literature showing its success, there is relatively little research exploring why the reparameterization trick is so effective. We explore this under the idealized assumptions that the variational approximation is a mean-field Gaussian density and that the log of the joint density of the model parameters and the data is a quadratic function that depends on the variational mean. From this, we show that the marginal variances of the reparameterization gradient estimator are smaller than those of the score function gradient estimator. We apply the result of our idealized analysis to real-world examples.

연구 동기 및 목표

• 재매개변수화 기법이 변분 추론에서 뛰어난 성능을 보이는 이론적 이유를 이해하는 것.
• 이dealized 가정 하에 스코어 함수 추정기와 재매개변수화 기법 추정기의 분산 특성을 비교하는 것.
• 변분 근사가 평균-장 가우시안이고 로그-합밀도가 변분 평균에 대해 이차일 경우, 두 추정기의 마진벌 분산에 대한 해석적 표현을 유도하는 것.
• 이론적 결과를 실세계 모델에서 검증하는 것 — 예를 들어 다항 로지스틱 회귀와 베이지안 신경망과 같이 가정이 엄격히 성립하지 않는 경우.

제안 방법

• 평균-장 가우시안 변분 근사와 변분 평균에 따라 의존하는 이차 로그-합밀도 함수를 가정하여 해석적 접근성을 확보한다.
• 로그-합밀도의 두 번째 차수 테일러 전개를 사용하여 스코어 함수 및 재매개변수화 기법 기울기 추정기의 마진벌 분산에 대한 폐쇄형 표현을 유도한다.
• 스코어 함수 추정기의 마진벌 분산에 하한을 도출하기 위해 Rao-Blackwellization을 적용하여 재매개변수화 추정기와 직접 비교할 수 있도록 한다.
• 유도된 분산 표현을 사용하여 곡률, 척도 매개변수, 평균 값이 추정기 효율성에 미치는 영향을 분석한다.
• 실모델에서 이론적 통찰을 검증한다: 베이지안 다항 로지스틱 회귀와 두 층의 베이지안 신경망 — 비록 로그-합밀도가 이차가 아니지만.
• MNIST 데이터를 사용해 스케일 매개변수와 평균 값이 기울기 분산에 미치는 영향을 연구하기 위한 세 가지 실험을 수행하며, 실증 결과를 이론적 예측과 비교한다.

실험 결과

연구 질문

• RQ1 왜 실무에서 재매개변수화 기법이 스코어 함수 방법보다 낮은 분산의 기울기 추정기를 제공하는가?
• RQ2 평균-장 가우시안 및 이차 로그-합밀도 가정 하에 스코어 함수 추정기와 재매개변수화 기법 추정기의 마진벌 분산은 어떻게 비교되는가?
• RQ3 기울기 추정기가 샘플링 영역에서 변동하는 방식이 분산 감소에 어떤 역할을 하는가?
• RQ4 곡률, 척도 매개변수, 평균 값은 두 기울기 추정기의 상대 효율성에 어떻게 영향을 미치는가?
• RQ5 이dealized 가정 하에 유도된 이론적 분산 표현은 비이dealized, 실세계 모델에서 기울기 분산 행동을 어느 정도 설명하는가?

주요 결과

• 재매개변수화 기법 기울기 추정기는 변분 분포의 샘플링 영역에서의 변동성이 적기 때문에 스코어 함수 추정기보다 낮은 마진벌 분산을 가진다.
• 스코어 함수 추정기는 변분 평균의 고차항을 포함하여 재매개변수화 기법 추정기보다 더 큰 변동성을 보인다.
• 두 추정기의 마진벌 분산은 로그-합밀도의 국소 곡률이 증가할수록 증가하며, 이는 헤시안 행렬의 노름으로 측정된다.
• 스코어 함수 추정기의 마진벌 분산은 변분 척도 매개변수가 0에 가까워질수록 증가하지만, 재매개변수화 기법 추정기는 이러한 조건에서도 안정성을 유지한다.
• 베이지안 신경망에서 로그-합밀도가 이차가 아니지만, 샘플링 영역에서의 변동성 감소에 대한 이론적 통찰은 실무에서 관측된 분산 감소를 여전히 설명한다.
• MNIST 로지스틱 회귀에서의 실증 결과는 이론적 분산 표현이 기울기 분산의 추세를 잘 반영함을 보여주며, 특히 척도 매개변수가 작을 때 효과적이나, 분산이 증가함에 따라 근사가 떨어진다.