[논문 리뷰] Generalized Gumbel-Softmax Gradient Estimator for Generic Discrete Random Variables

Weonyoung Joo, Dongjun Kim외 2명|arXiv (Cornell University)|2020. 03. 04.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 일반화된 군델-소프트맥스(Generalized Gumbel-Softmax, GenGS)를 제안하며, 무한한 지지체를 가진 일반적인 이산 분포—베르누이 및 다항분포를 초월하여—절단, 선형 변환 및 연속적 유사화를 조합함으로써 기존의 군델-소프트맥스 기법을 확장한 새로운 재파rameterization 경사 추정기이다. VAE 및 토픽 모델에서의 실험 결과, 기존 추정기들과 비교해 더 낮은 퍼플렉서티와 더 안정적인 학습을 달성하며 최신 기술 수준의 성능을 보였다.

ABSTRACT

Estimating the gradients of stochastic nodes in stochastic computational graphs is one of the crucial research questions in the deep generative modeling community, which enables the gradient descent optimization on neural network parameters. Stochastic gradient estimators of discrete random variables are widely explored, for example, Gumbel-Softmax reparameterization trick for Bernoulli and categorical distributions. Meanwhile, other discrete distribution cases such as the Poisson, geometric, binomial, multinomial, negative binomial, etc. have not been explored. This paper proposes a generalized version of the Gumbel-Softmax estimator, which is able to reparameterize generic discrete distributions, not restricted to the Bernoulli and the categorical. The proposed estimator utilizes the truncation of discrete random variables, the Gumbel-Softmax trick, and a special form of linear transformation. Our experiments consist of (1) synthetic examples and applications on VAE, which show the efficacy of our methods; and (2) topic models, which demonstrate the value of the proposed estimation in practice.

연구 동기 및 목표

• 딥 생성 모델에서 베르누이, 다항분포 외의 일반적인 이산 분포(예: 포아송, 기하분포, 이항분포, 음이항분포 등)에 대한 효과적인 경사 추정기가 부족한 문제를 해결하기 위해.
• 기존의 군델-소프트맥스 재파rameterization 기법을 베르누이 및 다항분포를 초월해 더 넓은 이산 분포 가족으로 확장하기 위해.
• 비다항 이산 잠재 변수를 포함하는 확률적 계산 그래프에서 안정적이고 효율적인 역전파를 가능하게 하기 위해.
• 명시적 및 암시적 사후 추론을 모두 지원하는 확률론적으로 탄탄하고 구현 가능한 방법을 제공하기 위해.

제안 방법

• 무한 지지체를 가진 임의의 이산 분포를 절단을 통해 재파라미터화하는 일반화된 군델-소프트맥스(Generalized Gumbel-Softmax, GenGS) 추정기를 제안한다.
• 절단된 이산 분포를 군델-소프트맥스 유사화에 적합한 형태로 매핑하기 위해 선형 변환을 적용한다.
• 군델-소프트맥스 기법을 사용해 이산 샘플링 과정의 연속적 유사화를 만들고, 이를 통해 경사 역전파를 가능하게 한다.
• 계산적으로 다루기 쉬운 유한 수준에서의 절단을 도입함으로써 지지체의 정밀도를 유지하면서도 계산 가능성을 확보한다.
• 변환된 분포의 구조를 통해 명시적 및 암시적 사후 추론을 모두 가능하게 한다.
• 온도 안내 및 다중 샘플 추정을 활용해 깊이 있는 모델에서의 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 군델-소프트맥스 기법은 베르누이 및 다항분포를 초월해 포아송, 기하분포와 같은 다른 이산 분포로 일반화될 수 있는가?
• RQ2 무한 지지체를 가진 이산 분포는 어떻게 깊이 있는 생성 모델에서의 미분 가능 최적화를 위해 효과적으로 재파라미터화할 수 있는가?
• RQ3 제안된 GenGS 추정기는 학습 안정성과 모델 우도 측면에서 기존의 경사 추정기보다 뛰어나게 성능을 발휘하는가?
• RQ4 GenGS는 스택드 변동 자동부호화기 및 토픽 모델과 같은 복잡한 모델에 효과적으로 적용될 수 있는가?

주요 결과

• 멀티스택 토픽 모델링에서 20Newsgroups 데이터셋에서 GenGS는 562 ± 11.5의 퍼플렉서티를 기록해 모든 베이스라인을 압도했다.
• 1-스택 20Newsgroups 설정에서 GenGS는 759 ± 13.1의 퍼플렉서티를 기록했으며, 이는 다음으로 우수한 방법인 StoRB*의 919 ± 16.2보다 유의미하게 낮았다.
• 멀티스택 RCV1 케이스에서 GenGS는 유일하게 안정적으로 수렴한 추정기였으며, RF*, NVIL, MuProp 등의 다른 추정기들은 최적 성능에 도달하지 못했다.
• GenGS에서의 온도 안내 및 다중 샘플링 활용은 깊이 있는 계층적 모델에서의 학습 안정성과 우도 최적화를 향상시켰다.
• GenGS는 합성 VAE 실험과 실제 세계의 토픽 모델링 응용 모두에서 일관된 우수성을 보였다.