[논문 리뷰] Monte Carlo Gradient Estimation in Machine Learning

Shakir Mohamed, Mihaela Rosca외 2명|arXiv (Cornell University)|2019. 06. 25.

Machine Learning and Algorithms참고 문헌 149인용 수 85

한 줄 요약

논문은 확률 분포 매개변수에 대한 기대값의 그래디언트를 구하기 위한 몬테카를로 그래디언트 추정기를 조사하며, 점수 함수, 경로(경로 방식), 및 측정값-값 방법의 연결고리와 분산 감소 기법을 다양한 분야에서 자세히 다룹니다.

ABSTRACT

This paper is a broad and accessible survey of the methods we have at our disposal for Monte Carlo gradient estimation in machine learning and across the statistical sciences: the problem of computing the gradient of an expectation of a function with respect to parameters defining the distribution that is integrated; the problem of sensitivity analysis. In machine learning research, this gradient problem lies at the core of many learning problems, in supervised, unsupervised and reinforcement learning. We will generally seek to rewrite such gradients in a form that allows for Monte Carlo estimation, allowing them to be easily and efficiently used and analysed. We explore three strategies--the pathwise, score function, and measure-valued gradient estimators--exploring their historical development, derivation, and underlying assumptions. We describe their use in other fields, show how they are related and can be combined, and expand on their possible generalisations. Wherever Monte Carlo gradient estimators have been derived and deployed in the past, important advances have followed. A deeper and more widely-held understanding of this problem will lead to further advances, and it is these advances that we wish to support.

연구 동기 및 목표

• 확률 분포 매개변수에 대한 기대값의 기울기를 계산하는 문제를 동기화하고 형식화한다.
• 세 가지 주요 몬테카를로 그래디언트 추정기의 도출: 점수 함수, 경로(경로 방식), 및 측정값-값.
• 분산 감소 기법과 이러한 추정기를 학습, 추론 및 의사결정 문제에 적용하기 위한 실용적 고려사항을 설명한다.
• 추정기 간의 연결과 일반화를 보여주고 향후 연구를 위한 지침을 제공한다.

제안 방법

• 확률 매개변수에 대한 기대값의 기울기를 점수 함수(score function)를 사용해 도출하고, 점수 함수 추정기로 이어진다.
• 비용의 도함수인 경로 접근법을 설명하며, 미분 가능성이 이를 사용할 수 있을 때를 포함한다.
• 측정값-값 그래디언트 추정기를 도입하여 분포의 도함수로서의 특성과 커플링 및 분산 특성을 포함한다.
• 간단한 가우스 예에서 추정기를 비교해 분산 및 비용 트레이드를 시연한다.
• 점수 함수 추정기에 대한 제어 변수(control variates)와 측정값 추정기에 대한 커플링과 같은 분산 감소 기법을 논의한다.
• 추정기가 서로 어떻게 관련되고 연결되며 더 넓은 응용에 맞게 일반화될 수 있는지 개요를 제시한다.

실험 결과

연구 질문

• RQ1 닫는 형태가 없을 때 분포 매개변수에 대한 기대값의 기울기를 어떻게 계산할 수 있는가?
• RQ2 몬테카를로 그래디언트 추정기의 기본 추정기(점수 함수, 경로, 측정값-값)와 그 가정 및 한계는 무엇인가?
• RQ3 대표적 문제에서 분산, 편향, 계산 비용 측면에서 이 추정기들은 어떻게 비교되는가?
• RQ4 이 추정기에 효과적인 분산 감소 전략은 무엇이며 어떤 조건에서 적용될 수 있는가?
• RQ5 이 그래디언트 추정기를 변분 추론, 강화학습, 감도 분석, 실험 설계 등의 분야에서 어떻게 적용하고 일반화할 수 있는가?

주요 결과

• 세 가지 주요 그래디언트 추정기인 점수 함수, 경로, 측정값-값이 각각 고유한 가정과 트레이드오프를 가진다.
• 추정기들은 각각의 조건에서 일관적이고 편향이 없지만, 서로 다른 분산 프로파일과 계산 비용을 보인다.
• 점수 함수 추정기에 대한 제어 변수와 측정값 추정기에 대한 커플링을 통해 분산을 크게 감소시킬 수 있다.
• 미분 가능성의 여부와 문제 구조가 각 추정기의 적합성 및 성능에 영향을 미친다.
• 이 논문은 이러한 추정기들을 연결하고 더 넓은 문제에 대해 결합되거나 일반화될 수 있는 방법을 논의한다.
• 변분 추론, 강화학습, 감도 분석, 이산 이벤트 시스템 등에서 이 추정기들이 중심적임을 강조한다.