[논문 리뷰] Reducing Reparameterization Gradient Variance

Andrew C. Miller, Nicholas J. Foti외 2명|arXiv (Cornell University)|2017. 05. 22.

Machine Learning and Algorithms인용 수 40

한 줄 요약

이 논문은 재파rameterization 기울기 추정기의 분산을 줄이기 위한 기법을 제안하며, 재파rameterization 과정의 생성 과정에 대한 선형 근사에 기반한 제어 변수를 구성한다. 이 방법은 기울기 노름에서 최대 2,000배의 분산 감소를 달성하여 표준 MCVI를 초과하는 최소한의 계산 오버헤드로 더 빠르고 안정적인 최적화를 가능하게 한다.

ABSTRACT

Optimization with noisy gradients has become ubiquitous in statistics and machine learning. Reparameterization gradients, or gradient estimates computed via the "reparameterization trick," represent a class of noisy gradients often used in Monte Carlo variational inference (MCVI). However, when these gradient estimators are too noisy, the optimization procedure can be slow or fail to converge. One way to reduce noise is to use more samples for the gradient estimate, but this can be computationally expensive. Instead, we view the noisy gradient as a random variable, and form an inexpensive approximation of the generating procedure for the gradient sample. This approximation has high correlation with the noisy gradient by construction, making it a useful control variate for variance reduction. We demonstrate our approach on non-conjugate multi-level hierarchical models and a Bayesian neural net where we observed gradient variance reductions of multiple orders of magnitude (20-2,000x).

연구 동기 및 목표

• 몬테카를로 변분 추론(MCVI)에서 재파라미터화 기울기 추정기의 높은 분산이 최적화 속도를 저하시키고 수렴을 어렵게 하므로 이를 해결하기 위해.
• 표본 수를 늘리지 않고도 기울기 분산을 줄이기 위해, 순수한 몬테카를로 평균화의 O(1/√N) 수렴 속도를 피하기 위해.
• 기울기 추정기의 알려진 확률적 생성 과정을 활용한 계산적으로 효율적인 제어 변수를 개발하기 위해.
• 비공액 히에라르키컬 모델과 베이지안 신경망에서 최적화의 안정성과 수렴 속도를 향상시키기 위해.
• 기존의 분산 감소 기법이 비용이 많이 들거나 적용이 불가능한 복잡한 모델로 저분산 기울기 추정의 적용 범위를 확장하기 위해.

제안 방법

• 재파라미터화 과정에서의 난수 소스에 대한 기울기 추정기의 선형 함수로 해석적으로 근사하여 제어 변수를 구성한다.
• 헤시안-벡터 곱(HVP)과 국소 선형 근사를 사용하여 기울기의 저비용이면서도 높은 상관도를 가지는 제어 변수를 계산한다.
• 순수 몬테카를로 기울기 추정치와 제어 변수를 선형 조합하여 비편향성을 유지하면서도 분산을 줄인다.
• 기울기가 잠재 변수 표본에 대해 명시적으로 모델링되는 가우시안 변분 가족에 이 방법을 적용한다.
• 완전한 헤시안 행렬 계산 없이도 효율적으로 제어 변수를 계산하기 위해 국소 헤시안 근사를 활용한다.
• 워크클럭 시간과 ELBO 수렴 지표를 사용하여 비공액 히에라르키컬 모델과 베이지안 신경망에서 이 방법을 검증한다.

실험 결과

연구 질문

• RQ1 기울기 추정기의 생성 과정에 대한 선형 근사에서 유도된 제어 변수가 재파라미터화 기울기의 분산을 상당히 감소시킬 수 있는가?
• RQ2 이 방법은 순수 몬테카를로 평균화와 비교해 수렴 속도와 최적화 안정성 측면에서 어떻게 성능을 내는가?
• RQ3 국소 근사를 사용한 헤시안-벡터 곱이 대각 헤시안 근사보다 분산 감소 측면에서 얼마나 뛰어난가?
• RQ4 이 방법은 히에라르키컬 모델과 베이지안 신경망과 같은 다양한 모델 유형에서 효과를 유지하는가?
• RQ5 표본 수를 늘리지 않고도 이 방법이 기울기 분산을 수십만 배 수준으로 감소시킬 수 있는가?

주요 결과

• 프리스크 히에라르키컬 모델에서 제안된 방법은 기울기 추정기의 노름에서 최대 2,000배의 분산 감소를 달성했으며, 최적화 진행 단계에 따라 20배에서 3,000배까지 다양하게 감소하였다.
• 베이지안 신경망에서는 HVP+Local 추정기로 전체 파라미터 기울기의 노름에서 기울기 분산을 100–5,000배 감소시켜 L=50 표본을 사용한 순수 몬테카를로 추정기보다 뚜렷이 뛰어난 성능을 보였다.
• 완전한 헤시안-벡터 곱이 평균 파라미터의 분산 감소에 필수적이었으며, 대각 헤시안 근사만으로는 분산 감소가 2–5배에 그쳤다.
• 최적화의 후반 단계에서 HVP+Local 방법은 척도 파라미터에 대해 상당한 분산 감소를 유지했으며, 완전한 헤시안 추정기는 계속해서 뛰어난 성능을 보였다. 이는 국소 근사에서 잔류하는 노이즈가 존재함을 시사한다.
• 최적화 트레이서 분석 결과, HVP+Local 추정기는 순수 몬테카를로 추정기보다 더 적은 표본 수(L=10 대비 L=50)를 사용함에도 불구하고 더 빠르고 노이즈가 적은 수렴을 보였다.
• 이 방법은 월클럭 시간 기준으로도 더 빠른 수렴을 가능하게 했으며, 베이지안 신경망 모델에서 L=10인 HVP+Local 추정기가 L=50인 몬테카를로 추정기보다 뛰어난 성능을 보였다.