[논문 리뷰] Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation

Yoshua Bengio, Nicholas Léonard외 1명|arXiv (Cornell University)|2013. 08. 15.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 2,001

한 줄 요약

저자들은 네 가지 그래디언트 추정 전략을 비교하고 확률적 또는 비매끄러운 뉴런에 대해 조건부 계산 설정에서 네트워크의 일부를 게이트하는 데의 활용을 보여준다.

ABSTRACT

Stochastic neurons and hard non-linearities can be useful for a number of reasons in deep learning models, but in many cases they pose a challenging problem: how to estimate the gradient of a loss function with respect to the input of such stochastic or non-smooth neurons? I.e., can we "back-propagate" through these stochastic neurons? We examine this question, existing approaches, and compare four families of solutions, applicable in different settings. One of them is the minimum variance unbiased gradient estimator for stochatic binary neurons (a special case of the REINFORCE algorithm). A second approach, introduced here, decomposes the operation of a binary stochastic neuron into a stochastic binary part and a smooth differentiable part, which approximates the expected effect of the pure stochatic binary neuron to first order. A third approach involves the injection of additive or multiplicative noise in a computational graph that is otherwise differentiable. A fourth approach heuristically copies the gradient with respect to the stochastic output directly as an estimator of the gradient with respect to the sigmoid argument (we call this the straight-through estimator). To explore a context where these estimators are useful, we consider a small-scale version of {\em conditional computation}, where sparse stochastic units form a distributed representation of gaters that can turn off in combinatorially many ways large chunks of the computation performed in the rest of the neural network. In this case, it is important that the gating units produce an actual 0 most of the time. The resulting sparsity can be potentially be exploited to greatly reduce the computational cost of large deep networks for which conditional computation would be useful.

연구 동기 및 목표

• 조건부 계산을 위해 확률적 또는 비매끄러운 뉴런을 통한 그래디언트 추정의 동기를 부여한다.
• 무편향 그래디언트 추정기, 확률적-매끄러운 분해, 노이즈 주입 가능 그래프, 직전(straight-through) 접근법의 네 가지 그래디언트 추정 가족을 검토하고 비교한다.
• 확대 네트워크의 일부를 선택적으로 활성화하기 위해 확률적 게이트로 학습의 feasibility를 시연한다.
• 희소성 제약을 가진 게이트/전문가 아키텍처에서 제안 방법의 실제 성능을 평가한다.

제안 방법

• 확률적 뉴런을 h_i = f(a_i, z_i)로 형식화하고 그래디언트 흐름의 기회를 도출한다.
• 다음의 네 가지 접근법을 도입한다: (i) 확률적 이진 뉴런에 대한 무편향 그래디언트 추정기(REINFORCE-유사); (ii) 확률적 이진 뉴런을 확률적 이진 부분과 매끄러운 1차 근사로 분해; (iii) 노이즈를 주입하여 미분 가능한 그래프를 생성; (iv) 이진/확률 게이트를 통해 그래디언트를 전파하는 직전 추정기.
• Noisy Rectifier, STS (Stochastic Times Smooth), ST (Straight-Through), 및 무편향 REINFORCE 기반 추정기를 제안하고 분석한다.
• 무편향 그래디언트의 분산 감소를 위한 중앙집중화 추정기 및 단위별 베이스라인에 대해 논의한다.

실험 결과

연구 질문

• RQ1 확률적 또는 비매끄러운 뉴런을 통해 그래디언트를 역전파할 수 있는가?
• RQ2 확률적 이진 또는 게이트 유닛에 대해 무편향 또는 저분산 업데이트를 제공하는 그래디언트 추정기는 무엇인가?
• RQ3 확률적 게이트가 잠재적 계산 절약과 함께 의미 있는 조건부 계산을 가능하게 하는가?
• RQ4 MNIST를 이용한 게이트/전문가 네트워크에서 이러한 추정기가 실제로 어떻게 작동하는가?

주요 결과

• 확률적 이진 뉴런에 대한 무편향 그래디언트 추정기는 기대 손실의 그래디언트에 대해 무편향임이 입증된다.
• STS 유닛과 Noisy Rectifier는 바람직한 특성을 보이며 확률적 게이트에서 그래디언트 흐름을 가능하게 한다.
• 직전(estimator) 추정기는 편향에도 불구하고 실무에서 놀랄 만큼 잘 작동하며 실험에서 종종 최상의 검증/테스트 결과를 낸다.
• 확률적 게이트로 게이터를 구성하면 게이트된 유닛의 소량(약 10%)을 차단하여 계산을 줄이고 성능에 미치는 영향은 미미하다.
• 모든 테스트된 추정기는 학습을 가능하게 하며 노이즈 주입은 학습 목표 및 일반화 모두를 개선할 수 있다.
• 보고된 MNIST 실험에서 Straight-Through 유닛이 최상의 검증 및 테스트 오차를 달성했다.