[논문 리뷰] GO Gradient for Expectation-Based Objectives

Yulai Cong, Miaoyun Zhao외 2명|arXiv (Cornell University)|2019. 01. 01.

Machine Learning in Materials Science인용 수 7

한 줄 요약

이 논문은 재분해가 필요 없는 임의의 분포(연속 또는 이산)의 파라미터에 대해 기대값 기반 목적함수의 저분산, 비편향 그래디언트를 계산하기 위한 새로운 방법인 일반 및 일표본(GO) 그래디언트를 소개한다. 이 방법은 단일 몬테카를로 샘플을 사용하여 일반적인 난수 변수를 통해 효율적인 통계적 역전파를 가능하게 하며, 재분해 기법과 유사한 분산 수준을 달성하면서도 광범위한 적용 가능성을 유지한다.

ABSTRACT

Within many machine learning algorithms, a fundamental problem concerns efficient calculation of an unbiased gradient wrt parameters $\gammav$ for expectation-based objectives $\Ebb_{q_{\gammav} (\yv)} [f(\yv)]$. Most existing methods either (i) suffer from high variance, seeking help from (often) complicated variance-reduction techniques; or (ii) they only apply to reparameterizable continuous random variables and employ a reparameterization trick. To address these limitations, we propose a General and One-sample (GO) gradient that (i) applies to many distributions associated with non-reparameterizable continuous or discrete random variables, and (ii) has the same low-variance as the reparameterization trick. We find that the GO gradient often works well in practice based on only one Monte Carlo sample (although one can of course use more samples if desired). Alongside the GO gradient, we develop a means of propagating the chain rule through distributions, yielding statistical back-propagation, coupling neural networks to common random variables.

연구 동기 및 목표

• 재분해가 가능한 연속 변수에 국한되거나 높은 분산을 야기하는 기존 그래디언트 추정 방법의 한계를 해결하기 위해.
• 복잡한 분산 감소 기법이 필요 없이도 연속 및 이산 분포 모두에 적용 가능한 일반 목적의 그래디언트 추정기 개발을 위해.
• 스토케스틱 계산 그래프에 확장된 체인 규칙을 통해 신경망의 분포를 통해 효율적인 역전파를 가능하게 하기 위해.
• 단일 몬테카를로 샘플로도 재분해 기법과 유사한 분산 수준을 달성하기 위해.

제안 방법

• 기대값 기반 목적함수에 대해 재분해가 불가능한 연속 및 이산 분포 모두에 적용 가능한 통합 추정기로 GO 그래디언트를 제안한다.
• 스코어 함수와 특정 재가중 기법을 활용하여 분산을 감소시키는 폐쇄형 표현식을 유도한다.
• 분포를 계산 그래프 내의 미분 가능 구성 요소로 간주함으로써, 분포를 통해 그래디언트를 전파하는 통계적 역전파 프레임워크를 도입한다.
• 분포 및 목적함수의 구조적 특성을 활용하여 분산을 유지하는 단일 샘플 몬테카를로 근사 기법을 적용한다.
• 스토케스틱 계층을 포함한 신경망의 엔드 투 엔드 학습을 가능하게 하는 분포용 체인 규칙을 개발한다.
• 로그 미분 기법과 분포별 도함수를 기반으로 한 재가중 기법을 사용하여 그래디언트 추정의 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 일표본 그래디언트 추정기로도 재분해가 불가능한 연속 및 이산 분포에서 모두 저분산을 달성할 수 있는가?
• RQ2 신경망의 스토케스틱 분포를 통해 역전파를 체계적으로 확장하기 위해 체인 규칙을 어떻게 확장할 수 있는가?
• RQ3 기존 방법과 비교해 GO 그래디언트의 이론적 및 실증적 성능(분산 및 수렴성 측면)은 어떠한가?
• RQ4 복잡한 모델에 대해 이산 및 연속 잠재 변수를 모두 포함할 경우, 분산 감소 오버헤드 없이 GO 그래디언트를 적용할 수 있는가?
• RQ5 GO 그래디언트의 일표본 성격이 실질적인 학습 안정성과 샘플 효율성에 미치는 영향은 어떠한가?

주요 결과

• GO 그래디언트는 단일 몬테카를로 샘플을 사용함에도 불구하고 재분해 기법과 유사한 분산 수준을 달성한다.
• 이 방법은 재분해가 불가능한 분포를 포함해 연속 및 이산 분포 모두에 광범위하게 적용 가능하다.
• 통계적 역전파를 통해 재분해가 불가능한 분포에서 기인하는 스토케스틱 계층을 포함한 신경망의 엔드 투 엔드 학습이 가능하다.
• 실증 결과에 따르면, 다양한 벤치마크 과제에서 GO 그래디언트가 스코어 함수 추정기보다 더 빠르게 수렴하고 분산이 낮다.
• 이 방법은 복잡한 분산 감소 기법 없이도 이산 및 연속 잠재 변수를 포함한 모델의 효율적 학습을 가능하게 한다.
• 일표본 성격 덕분에 높은 샘플 효율성과 함께 상당한 계산적 절감 효과를 얻을 수 있다.