[논문 리뷰] Reparameterization trick for discrete variables

Seiya Tokui, Issei Sato|arXiv (Cornell University)|2016. 11. 04.

Gaussian Processes and Bayesian Inference참고 문헌 10인용 수 8

한 줄 요약

이 논문은 이산 변수에 대한 재매개변수화 기법을 제안하며, 이산 변수를 근거로 하여 공통된 노이즈 요소를 모든 구성에 걸쳐 공유함으로써, 공통된 난수 기법을 사용한 저분산 기울기 추정을 가능하게 한다. 이 방법은 최적의 입력 의존 기준선을 갖춘 우도 비율 방법보다 낮은 분산을 이론적으로 보장하며, 시그모이드 신뢰망의 변분 추론에서 더 빠른 수렴과 향상된 성능을 달성한다.

ABSTRACT

Low-variance gradient estimation is crucial for learning directed graphical models parameterized by neural networks, where the reparameterization trick is widely used for those with continuous variables. While this technique gives low-variance gradient estimates, it has not been directly applicable to discrete variables, the sampling of which inherently requires discontinuous operations. We argue that the discontinuity can be bypassed by marginalizing out the variable of interest, which results in a new reparameterization trick for discrete variables. This reparameterization greatly reduces the variance, which is understood by regarding the method as an application of common random numbers to the estimation. The resulting estimator is theoretically guaranteed to have a variance not larger than that of the likelihood-ratio method with the optimal input-dependent baseline. We give empirical results for variational learning of sigmoid belief networks.

연구 동기 및 목표

• 이산 잠재 변수를 가진 유도 그래픽 모델에서 저분산 기울기 추정의 과제를 해결하기 위해.
• 이전에 연속 변수에 국한되어 있던 재매개변수화 기법을 이산 변수로 확장하기 위해 불연속성 문제를 근거화를 통해 우회함으로써.
• 특히 시그모이드 신뢰망과 같은 깊은 아키텍처에서 이산 모델의 변분 추론에서 기울기 분산을 감소시키기 위해.
• 기존 우도 비율 추정기보다 분산과 최적화 안정성 측면에서 뛰어난 이론적으로 타당한 방법을 제공하기 위해.

제안 방법

• 관심 있는 이산 변수를 근거화함으로써, 불연속적인 샘플링 연산 없이 재매개변수화를 적용할 수 있도록 한다.
• 이산 변수의 모든 구성에 걸쳐 공통된 노이즈 요소를 사용함으로써, 기울기 추정에 대해 공통된 난수 기법을 효과적으로 적용한다.
• 기울기를 계산할 때 이산 변수의 모든 구성들을 동시에 시뮬레이션함으로써 순차적 처리가 아닌 공유된 무작위성을 활용하여 분산을 감소시킨다.
• 모든 변수의 공동 재매개변수화를 통해 기대값을 재구성하며, 이산 변수의 분포는 근거화된다.
• 이 방법이 최적의 입력 의존 기준선을 갖춘 우도 비율 추정기의 분산보다 크지 않다는 것을 이론적으로 보여준다.
• 이를 구현하기 위해 이산 변수의 모든 구성들을 단일 순환 전파 단계에서 공유된 노이즈를 사용하여 생성하고, 역전파를 통해 기울기를 계산한다.

실험 결과

연구 질문

• RQ1 이산 변수의 본질적인 샘플링의 불연속성에도 불구하고 재매개변수화 기법을 이산 변수로 확장할 수 있는가?
• RQ2 이산 변수를 근거화함으로써 연속 재매개변수화 수준의 저분산 기울기 추정이 가능해지는가?
• RQ3 모든 구성에 걸쳐 공유된 노이즈를 사용함으로써 기존 방법보다 더 효과적으로 기울기 분산을 감소시킬 수 있는가?
• RQ4 이중 이산 모델에서 최적화 속도와 모델 성능 측면에서 제안된 방법이 우도 비율 방법보다 어떻게 비교되는가?
• RQ5 제안된 방법의 분산 감소는 우도 비율 프레임워크에서 최고의 기준선에 비해 이론적으로 보장되는가?

주요 결과

• 이론적으로 증명된 바와 같이, 제안된 방법은 최적의 입력 의존 기준선을 갖춘 우도 비율 방법보다 기울기 분산이 크게 낮다.
• SBN을 사용한 MNIST 실험에서, 변분 하한 측면에서 우도 비율 방법을 초월하였으며, 32-64-128-256 아키텍처에서 2.04 nats의 향상이 있었다.
• 특히 더 깊은 모델에서 우도 비율 방법 대비 기울기 추정의 분산이 최대 10^8배 감소하였다.
• 구성 수 M만큼의 계산 비용 증가가 있음에도 불구하고, 효율적인 병렬 처리 덕분에 GPU에서 두 배 이내의 시간으로 실행되었다.
• 더 빠른 수렴과 더 나은 일반화 성능을 보였으며, 특히 기울기 품질이 최적화에 결정적인 영향을 미치는 더 깊은 아키텍처에서 두드러졌다.
• 제안된 방법으로 학습된 모델은 32-64-128-256 SBN에서 테스트 세트의 음의 로그가능도를 92.79로 달성하였으며, 우도 비율 방법을 사용한 경우는 94.73였다.