[논문 리뷰] Gradient Estimation Using Stochastic Computation Graphs

John Schulman, Nicolas Heess외 2명|arXiv (Cornell University)|2015. 06. 17.

Bayesian Modeling and Causal Inference참고 문헌 28인용 수 187

한 줄 요약

이 논문은 확률적 및 결정적 연산을 조합한 모델에서 경사하강법을 위한 통합된 프레임워크로 확률적 계산 그래프를 소개한다. 수정된 역전파 알고리즘을 사용하여 편향이 없는 경사하강 추정기를 자동으로 계산하는 일반적인 방법을 제시함으로써, 변분 오토인코더나 주의 메커니즘과 기억 구조를 갖춘 강화학습 에이전트와 같은 복잡한 모델의 효율적 훈련을 가능하게 한다.

ABSTRACT

In a variety of problems originating in supervised, unsupervised, and reinforcement learning, the loss function is defined by an expectation over a collection of random variables, which might be part of a probabilistic model or the external world. Estimating the gradient of this loss function, using samples, lies at the core of gradient-based learning algorithms for these problems. We introduce the formalism of stochastic computation graphs---directed acyclic graphs that include both deterministic functions and conditional probability distributions---and describe how to easily and automatically derive an unbiased estimator of the loss function's gradient. The resulting algorithm for computing the gradient estimator is a simple modification of the standard backpropagation algorithm. The generic scheme we propose unifies estimators derived in variety of prior work, along with variance-reduction techniques therein. It could assist researchers in developing intricate models involving a combination of stochastic and deterministic operations, enabling, for example, attention, memory, and control actions.

연구 동기 및 목표

• 확률 변수에 대한 기대값을 포함하는 손실 함수를 포함하는 머신러닝 모델에서 경사하강법을 계산하는 데 도전하는 문제를 해결하기 위해.
• 스코어 함수 및 경로 병행 도함수 방법과 같은 다양한 경사하강 추정기를, 임의의 계산 그래프에 있는 확률적 노드에 적용 가능한 단일 형식론 아래 통합하기 위해.
• 자동 미분을 활용하여 잠재 변수, 주의 메커니즘, 기억 네트워크를 포함한 복잡한 모델에서 자동이고 효율적인 경사하강 계산을 가능하게 하기 위해.
• 강화학습과 변분 추론에서의 분산 감소 기법을 더 넓은 범위의 확률적 계산 그래프로 일반화하기 위해.
• 쿼아-뉴턴 및 주도-최소화 최적화 방법을 확률적 계산 그래프로 확장할 수 있는 체계적인 방법을 제공하기 위해.

제안 방법

• 확률적 계산 그래프를 방향 무사이클 그래프(DAG)로 공식화하여, 결정적 함수와 확률 변수에 대한 조건부 확률 분포를 모두 포함한다.
• 델타 방법과 뒷문 조정을 적용하여 기대 손실에 대한 편향 없는 경사하강 추정기를 유도함으로써, 미분 가능한 대체 손실 함수를 도출한다.
• 역전파 알고리즘을 수정하여, 결정적 노드뿐만 아니라 확률적 노드를 통해 경사 신호를 전파할 수 있도록 하며, 이때 스코어 함수(로그 도함수) 항을 사용한다.
• 대체 손실 함수의 경사하강 추정기를 계산함으로써, 자동 미분 소프트웨어를 사용한 효율적 구현이 가능해진다.
• 제어 변수 및 베이스라인 함수와 같은 분산 감소 기법을 확률적 계산 그래프 프레임워크 내에서 적용하여, 이전 연구의 방법을 일반화한다.
• 헤시안-벡터 곱의 계산을 가능하게 하고 주도-최소화 알고리즘을 위한 주도 함수를 구성함으로써, 고차원 최적화 방법을 지원하기 위해 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 임의의 계산 그래프에서 결정적 노드와 확률적 노드를 모두 포함하는 경우, 체계적으로 경사하강 추정기를 어떻게 도출할 수 있는가?
• RQ2 확률 변수에 대한 기대값을 포함하는 다양한 머신러닝 문제에 대해, 편향 없는 경사하강 추정기를 계산할 수 있는 단일 통합 알고리즘을 개발할 수 있는가?
• RQ3 강화학습과 변분 추론에서의 분산 감소 기법을 임의의 확률적 계산 그래프로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 자동 미분 도구는 어떻게 수정되어야 하며, 이를 통해 확률적 계산 그래프에서 효율적인 경사하강 계산을 가능하게 할 수 있는가?
• RQ5 이 프레임워크를 통해 쿼아-뉴턴 및 주도-최소화 최적화 기법을 확률적 구성 요소를 포함한 모델로 확장할 수 있는가?

주요 결과

• 제안된 프레임워크는 기존의 스코어 함수 및 경로 병행 도함수 방법을 확률적 계산 그래프에 대한 일반 경사하강 추정기의 특수한 경우로 통합한다.
• 로그 도함수(스코어 함수) 항을 통해 확률적 노드를 통해 경사 신호를 전파하는 수정된 역전파 알고리즘을 사용하여, 경사하강 추정기를 효율적으로 계산할 수 있다.
• 자동 미분를 활용함으로써, 변분 오토인코더, 기억 네트워크, 주의 메커니즘과 같은 복잡한 모델에서 자동이고 효율적인 경사하강 계산이 가능해진다.
• 제어 변수 및 베이스라인과 같은 분산 감소 기법을 프레임워크 내에서 자연스럽게 적용할 수 있으며, 이는 이전 연구의 결과를 일반화한다.
• 헤시안-벡터 곱의 계산을 가능하게 하여, 쿼아-뉴턴 및 헤시안-자유 최적화와 같은 고차원 최적화 방법으로의 확장을 지원함으로써, 프레임워크는 고차원 최적화 방법으로의 확장이 가능하다.
• 알고리즘은 표준 역전파의 단순한 수정으로 구현되며, 오직 확률적 노드에 경사 신호를 추가하는 것으로 충분하여, 기존 딥러닝 시스템에 쉽게 통합할 수 있고 실용적이다.