[논문 리뷰] DisARM: An Antithetic Gradient Estimator for Binary Latent Variables

Zhe Dong, Andriy Mnih외 1명|arXiv (Cornell University)|2020. 06. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 9

한 줄 요약

DisARM는 이원 잠재 변수에 대한 저분산, 비편향 그래디언트 추정기로, 보정을 위해 사용하는 보조 연속 변수를 해석적으로 통합함으로써 불필요한 분산을 제거함으로써 ARM 추정기보다 향상된 성능을 보인다. 연산 비용은 그대로 유지하면서 RELAX와 경쟁 가능한 성능을 달성하며, 연속적 리레강스가 없는 모델에도 적용 가능하다.

ABSTRACT

Training models with discrete latent variables is challenging due to the difficulty of estimating the gradients accurately. Much of the recent progress has been achieved by taking advantage of continuous relaxations of the system, which are not always available or even possible. The Augment-REINFORCE-Merge (ARM) estimator provides an alternative that, instead of relaxation, uses continuous augmentation. Applying antithetic sampling over the augmenting variables yields a relatively low-variance and unbiased estimator applicable to any model with binary latent variables. However, while antithetic sampling reduces variance, the augmentation process increases variance. We show that ARM can be improved by analytically integrating out the randomness introduced by the augmentation process, guaranteeing substantial variance reduction. Our estimator, DisARM, is simple to implement and has the same computational cost as ARM. We evaluate DisARM on several generative modeling benchmarks and show that it consistently outperforms ARM and a strong independent sample baseline in terms of both variance and log-likelihood. Furthermore, we propose a local version of DisARM designed for optimizing the multi-sample variational bound, and show that it outperforms VIMCO, the current state-of-the-art method.

연구 동기 및 목표

• 이원 잠재 변수를 가진 모델에서 고분산 그래디언트 추정 문제를 해결하기 위해, 특히 연속적 리레강스가 불가능하거나 이용 불가능한 경우에 대비한다.
• 보조 연속 변수를 사용하는 항등 샘플링을 통해 분산을 유발하는 ARM 추정기를 개선한다.
• 항등 샘플링의 이점을 유지하면서도 보정 단계에서 유발되는 분산을 제거하는 방법을 개발한다.
• 개선된 추정기를 다중 샘플 변분 경계로 확장하여, VIMCO와 같은 최신 기법을 능가한다.
• 이산 잠재 변수 모델에 대한 리레강스 기반 추정기의 일반적이고 단순하며 계산 효율적인 대안을 제공한다.

제안 방법

• DisARM는 ARM 추정기를 바탕으로 보정 단계에서 사용하는 보조 연속 변수를 해석적으로 통합함으로써 분산을 감소시키며 편향을 유도하지 않는다.
• 원래의 베르누이 변수가 보조 연속 변수의 결정적 함수임을 활용하여 조건부 기대값을 통해 분산 감소를 실현한다.
• 기본 연속 변수에 대해 항등 샘플링을 적용하여 샘플 간 음의 상관관계를 유도함으로써 추정기 분산을 감소시킨다.
• 전체 분산의 법칙과, 원래의 베르누이 변수를 조건으로 한 REINFORCE 그래디언트의 조건부 기대값이 원래 그래디언트와 동일하다는 성질을 이용해 추정기를 유도한다.
• 다중 샘플 변분 경계 최적화를 위해 로컬 버전의 DisARM을 제안하여 효율적인 그래디언트 추정과 함께 분산 감소를 달성한다.
• 이 방법은 ARM과 동일한 계산 비용을 유지하므로 실세계 응용에 실용적이다.

실험 결과

연구 질문

• RQ1 보정 단계에서 유도되는 무작위성 제거를 통해 ARM 추정기의 분산을 줄일 수 있는가?
• RQ2 ARM에서 보조 연속 변수를 해석적으로 통합하면서 비편향성과 분산 향상을 유지할 수 있는가?
• RQ3 생성 모델 기준에서 DisARM이 RELAX와 VIMCO에 비해 분산, 로그우도, 학습 속도 측면에서 어떻게 비교되는가?
• RQ4 DisARM은 다중 샘플 변분 경계로 효과적으로 확장되어 현재 최신 기법인 VIMCO를 능가할 수 있는가?
• RQ5 연속적 리레강스가 적용 불가능하거나 너무 비용이 많이 드는 환경에서도 DisARM은 강력한 성능을 유지하는가?

주요 결과

• DisARM는 MNIST, Fashion-MNIST, Omniglot을 포함한 여러 생성 모델 기준에서 ARM 및 REINFORCE-LOO보다 분산과 로그우도 측면에서 일관되게 뛰어난 성능을 보였다.
• 3~4개의 스토케스틱 히든 레이어를 가진 깊은 모델에서 DisARM과 RELAX 간 성능 격차는 줄어들었지만, DisARM의 월드클록 시간 기준 학습 속도는 RELAX의 약 두 배였다.
• 다중 샘플 변분 추론에서 K 쌍의 항등 샘플을 사용한 DisARM은 2K개의 독립 샘플을 사용한 VIMCO보다 학습 목표와 그래디언트 분산 측면에서 뛰어난 성능을 보였다.
• 동일한 계산 비용 조건에서 DisARM은 K 쌍의 샘플을 사용할 때 두 개의 독립 VIMCO 추정기(K개 샘플)보다 낮은 그래디언트 분산을 달성하여 효율성을 확인했다.
• 다중 샘플 경계를 위한 DisARM의 로컬 버전은 VIMCO를 능가하며, 복잡한 변분 목표에서의 효과성을 입증했다.
• DisARM는 이원 잠재 변수를 가진 모든 모델에 일반적으로 적용 가능하며 연속적 리레강스가 필요 없어, RELAX나 REBAR보다 더 넓은 적용 범위를 가진다.