[논문 리뷰] ARM: Augment-REINFORCE-Merge Gradient for Stochastic Binary Networks

Mingzhang Yin, Mingyuan Zhou|arXiv (Cornell University)|2018. 07. 30.

Statistical Methods and Inference인용 수 34

한 줄 요약

이 논문은 변동성이 있는 이진 레이어를 갖는 확률적 이진 신경망을 훈련하기 위한 보정-REINFORCE-병합(ARM) 기울기 추정기의 제안한다. 이는 변수 보정, REINFORCE, 재파arameterization를 조합하여 편향이 없고 분산이 낮으며 최소한의 계산 오버헤드를 가지는 기울기 추정기를 생성한다. ARM은 이진 레이어를 갖는 이산 잠재변수 모델에서 자동부호화 변동형 추론과 최대우도 추정에서 최신 기술 수준의 성능을 달성하며, 음의 로그우도 및 하한 경계 지표에서 편향이 있는 및 편향이 없는 기준선보다 뛰어나다.

ABSTRACT

To backpropagate the gradients through stochastic binary layers, we propose the augment-REINFORCE-merge (ARM) estimator that is unbiased, exhibits low variance, and has low computational complexity. Exploiting variable augmentation, REINFORCE, and reparameterization, the ARM estimator achieves adaptive variance reduction for Monte Carlo integration by merging two expectations via common random numbers. The variance-reduction mechanism of the ARM estimator can also be attributed to either antithetic sampling in an augmented space, or the use of an optimal anti-symmetric "self-control" baseline function together with the REINFORCE estimator in that augmented space. Experimental results show the ARM estimator provides state-of-the-art performance in auto-encoding variational inference and maximum likelihood estimation, for discrete latent variable models with one or multiple stochastic binary layers. Python code for reproducible research is publicly available.

연구 동기 및 목표

• 스토케스틱 이진 레이어를 갖는 이산 잠재변수 모델 훈련에서 기울기 추정기의 높은 분산 문제를 해결하기 위해.
• 학습 가능한 기준선 파rameter가 필요 없이 편향이 없고 계산 효율성이 높은 기울기 추정기를 개발하기 위해.
• 변동형 추론과 최대우도 추정을 위한 깊은 확률적 이진 피드포워드 네트워크의 효과적인 훈련을 가능하게 하기 위해.
• 공통된 난수와 확장된 공간 샘플링을 기반으로 한 새로운 분산 감소 메커니즘을 통해 몬테카를로 통합의 분산을 줄이되, 편향을 도입하지 않기 위해.

제안 방법

• ARM 추정기는 확장된 잠재 공간에서 상관된 이진 벡터의 결합 분포를 생성하기 위해 변수 보정을 사용한다.
• 공통된 난수를 활용하여 분산을 줄이기 위해 보정된 공간 내에서 REINFORCE 추정기를 적용한다.
• 재파라미터화와 반대 샘플링을 통해 두 개의 기대값을 결합하여 자가 제어 기준선 함수를 효과적으로 생성한다.
• 기울기는 균일한 노이즈와 두 개의 상관된 이진 샘플에서 평가된 함수 값의 차이의 곱으로 계산된다.
• 기준선 파rameter를 추정할 필요 없이 저비용을 유지하면서도 적응형 분산 감소를 달성한다.
• 재파라미터화 기법과 스코어 함수 추정기의 조합에서 유도되며, 분산 감소는 보정된 공간에서 최적의 반대칭 기준선에 기인한다.

실험 결과

연구 질문

• RQ1 학습 가능한 기준선 파rameter가 필요 없이 편향이 없고 분산이 낮은 기울기 추정기를 설계할 수 있는가?
• RQ2 REINFORCE, REBAR, Gumbel-Softmax와 같은 기존 방법과 비교해 ARM 추정기는 수렴 속도와 테스트 성능에서 어떻게 다른가?
• RQ3 단일 샘플만을 사용하여도 ARM 추정기는 이산 잠재변수 모델의 몬테카를로 통합에서 분산을 효과적으로 줄일 수 있는가?
• RQ4 ARM 추정기는 편향이 있는 및 편향이 없는 기준선보다 최대우도 추정과 변동형 추론에서 성능을 뛰어나게 하면서도 낮은 계산 복잡도를 유지하는가?

주요 결과

• ARM 추정기는 MNIST 조건부 분포 추정 벤치마크에서 테스트 음의 로그우도 57.9 ± 0.1을 기록하여 모든 경쟁 방법보다 뛰어나다.
• 표준 스코어 함수(SF) 추정기의 음의 로그우도 72.0과 비교해 ARM은 분산을 크게 줄였다.
• 자동부호화 변동형 추론 작업에서 수렴 속도가 더 빠르고, 테스트 음의 하한 경계가 더 낮아졌다.
• REBAR와 RELAX와 달리 기준선 파ram터 추정이 필요 없기 때문에 계산 복잡도를 낮게 유지한다.
• 공통된 난수와 상관된 샘플을 사용함으로써 단일 몬테카를로 샘플에서도 편향이 없고 분산이 낮은 성능을 보였다.
• 실험 결과 ARM이 하나 이상의 스토케스틱 이진 레이어를 포함한 여러 벤치마크에서 최신 기술 수준의 성능을 제공함을 확인했다.