[논문 리뷰] MuProp: Unbiased Backpropagation for Stochastic Neural Networks

Shixiang Gu, Sergey Levine외 2명|arXiv (Cornell University)|2015. 11. 16.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 32

한 줄 요약

MuProp는 평균장 네트워크의 일阶 테일러 전개를 기반으로 한 제어 변수를 배경으로 하여 분산을 크게 감소시키는 비편향 그래디언트 추정기로서, 확률적 신경망에 적용되는 것이다. 이는 이산 잠재변수 모델에서 직선 통과(straight-through) 및 우도비 추정법과 같은 편향 추정기들보다 뛰어난 일관성 있는 성능을 보이며, MNIST 작업에서 더 빠른 수렴과 더 나은 일반화 성능을 달성한다.

ABSTRACT

Deep neural networks are powerful parametric models that can be trained efficiently using the backpropagation algorithm. Stochastic neural networks combine the power of large parametric functions with that of graphical models, which makes it possible to learn very complex distributions. However, as backpropagation is not directly applicable to stochastic networks that include discrete sampling operations within their computational graph, training such networks remains difficult. We present MuProp, an unbiased gradient estimator for stochastic networks, designed to make this task easier. MuProp improves on the likelihood-ratio estimator by reducing its variance using a control variate based on the first-order Taylor expansion of a mean-field network. Crucially, unlike prior attempts at using backpropagation for training stochastic networks, the resulting estimator is unbiased and well behaved. Our experiments on structured output prediction and discrete latent variable modeling demonstrate that MuProp yields consistently good performance across a range of difficult tasks.

연구 동기 및 목표

• 표준 역전파가 비가역적 샘플링 연산으로 인해 실패하는 이산 잠재변수를 가진 확률적 신경망을 훈련하는 데 도전하는 것.
• 역전파의 효율성을 활용하면서도 수렴 보장을 유지하는 비편향 그래디언트 추정기를 개발하여, 직선 통과 및 우도비 방법과 같은 기존의 편향 추정기의 한계를 극복하는 것.
• 히우리스틱 근사에 의존하지 않고도 이산 확률적 네트워크에서 우도비 추정기의 높은 분산을 감소시키는 것.
• 연속 및 이산 잠재변수를 모두 포함하는 깊은 확률적 모델을 단일이고 체계적인 프레임워크로 효과적으로 훈련할 수 있도록 하는 것.
• 특히 편향 추정기가 실패하거나 진동하는 경우에 발생하는 다양한 구조적 예측 및 생성 모델링 작업 전반에서 일관되고 뛰어난 성능을 보여주는 것.

제안 방법

• 평균장 네트워크의 일계 테일러 전개에서 유도된 제어 변수를 사용하여 그래디언트 추정의 분산을 감소시키는 비편향 그래디언트 추정기인 MuProp을 제안한다.
• 확률적 계산 그래프의 평균장 근사에 대한 역전파를 통합하여 효율적인 그래디언트 계산을 가능하게 하면서도 비편향성을 유지한다.
• 제어 변수 기법을 우도비 추정기에 적용하여, 결정론적 역전파를 통해 평균장 네트워크를 통해 근사한 그래디언트를 빼는 방식을 사용한다.
• 혼합된 확률적 및 결정론적 노드를 포함하는 임의의 방향 무사이클 그래프(DAG)에 적용 가능한 일반적 형태를 유도한다. 이는 연속 및 이산 확률적 변수를 모두 지원한다.
• 단 한 번의 평균장 통과를 통해 제어 변수를 계산하여, 표준 우도비 추정기 대비 그래디언트 분산을 크게 감소시키면서도 계산 효율성을 확보한다.
• 확률적 계산 그래프의 미분 가능하고 결정론적인 근사를 사용하여 제어 변수를 계산함으로써, 전체 추정기가 비편향이고 미분 가능하게 유지되도록 한다.

실험 결과

연구 질문

• RQ1 이산 잠재변수를 가진 확률적 신경망에 대해, 역전파를 활용하여 분산을 감소시킬 수 있는 비편향 그래디언트 추정기를 설계할 수 있는가?
• RQ2 복잡한 모델에서 직선 통과 및 우도비 추정법과 같은 편향 추정기들과 비교해 볼 때, MuProp의 성능과 수렴 속도는 어떠한가?
• RQ3 편향 추정기들이 진동하거나 실패하는 경우에도 MuProp은 다양한 모델 아키텍처와 목적 함수에서 일관된 성능을 유지하는가?
• RQ4 MuProp은 연속 및 이산 확률적 변수에 대해 효과적으로 적용될 수 있으며, 비편향성과 계산 효율성을 유지하는가?
• RQ5 평균장 근사를 제어 변수로 사용할 경우, 깊은 확률적 네트워크의 훈련 안정성과 샘플 효율성이 어느 정도 향상되는가?

주요 결과

• MuProp는 MNIST에서 최종 변분 하한을 기준으로 NVIL(우도비 추정기의 분산 감소 버전)보다 일관되게 뛰어나며, 테스트 성능도 모든 테스트된 모델 아키텍처에서 더 우수하다.
• 카테고리컬 모델(200×10)에서 MuProp은 NVIL 대비 약 3~4배 더 빠른 수렴 속도를 보이며, 제어 변수로 평균 제거만 사용했음에도 불구하고 그래디언트 분산이 크게 낮다는 것을 시사한다.
• 직선 통과(ST) 및 1/2 추정기의 성능은 일관성이 없으며, SBN 모델에서는 ST가 1/2보다 우수하고, 카테고리컬 모델에서는 1/2가 더 우수함을 보이며, 이는 이들의 불안정성과 모델 구조에 대한 민감성에 기인한다.
• SBN 200-784 모델에서 MuProp은 테스트 음수 변분 하한 113.1을 기록했으며, NVIL의 113.5와 유사하거나 더 우수한 성능을 보였다. 이는 더 빠른 수렴을 동반한다.
• fDARN 200-784 모델에서 MuProp은 92.9를 기록하여 NVIL(92.1)을 능가했으며, ST(110.2)와 1/2(94.2)를 크게 앞서며, 이는 MuProp의 강건성과 신뢰성의 확인이다.
• MuProp은 모든 작업에서 안정적이고 신뢰할 수 있는 성능을 보였으며, 특히 더 깊거나 복잡한 모델에서 높은 분산과 예측 불가능한 행동을 보이는 편향 추정기들과는 대조적으로 나타났다.