[논문 리뷰] Categorical Reparameterization with Gumbel-Softmax

Eric Jang, Shixiang Gu외 1명|arXiv (Cornell University)|2016. 11. 03.

Neural Networks and Applications인용 수 3,222

한 줄 요약

Gumbel-Softmax를 도입하는 것으로, 실제 one-hot 샘플로 어닐링할 수 있는 이산 변수에 대한 차별화 가능한 연속 이완을 제공하여 이산 선택에 대한 역전파를 가능하게 하고 준지도 학습을 가속화합니다.

ABSTRACT

Categorical variables are a natural choice for representing discrete structure in the world. However, stochastic neural networks rarely use categorical latent variables due to the inability to backpropagate through samples. In this work, we present an efficient gradient estimator that replaces the non-differentiable sample from a categorical distribution with a differentiable sample from a novel Gumbel-Softmax distribution. This distribution has the essential property that it can be smoothly annealed into a categorical distribution. We show that our Gumbel-Softmax estimator outperforms state-of-the-art gradient estimators on structured output prediction and unsupervised generative modeling tasks with categorical latent variables, and enables large speedups on semi-supervised classification.

연구 동기 및 목표

• 해석 가능하고 효율적인 표현을 위해 신경망에서 이산 잠재 변수를 활용하도록 동기를 부여한다.
• 역전파를 가능하게 하기 위해 범주 샘플에 대한 차별화 가능한 그래디언트 추정기를 제공한다.
• Gumbel-Softmax를 이산 분포로 어닐링할 수 있는 연속 이완으로 소개한다.
• 구조화된 예측 및 변분 모델링 태스크에서 기존 추정기들보다 성능이 향상됨을 보여준다.
• 다수 클래스의 준지도 분류에서 Gumbel-Softmax가 더 빠른 학습을 가능하게 함을 보여준다.

제안 방법

• 단순체 위에 Gumbel-Softmax 분포를 범주 샘플의 차별화 가능한 이완으로 정의한다.
• 로그잇과 Gumbel 잡음을 이용해 y_i를 얻기 위해 Gumbel-Max 트릭과 온도 tau를 사용하고( y_i의 방정식).
• Gumbel-Softmax(구체) 분포의 밀도 p_pi,tau(y)를 도출한다.
• 재매개화(경로 유도)를 통해 y를 거쳐 역전파를 가능하게 하는 Gumbel-Softmax 추정기를 제안한다.
• 전방 전달에서 y를 이산화하지만 기울기 계산은 연속 값인 y를 사용하는 Straight-Through 변형을 도입한다.
• tau의 어닐링 스케줄과 이를 엔트로피 규제의 해석으로 설명한다.

실험 결과

연구 질문

• RQ1 Gumbel-Softmax가 기존 추정기에 비해 이산 변수에 대해 저 분산의 차별화 가능한 그래디언트를 제공할 수 있는가?
• RQ2 구조화된 출력 예측 및 변분 오토인코더 태스크에서 Gumbel-Softmax 추정기가 기존 그래디언트 추정기와 비교해 어떻게 수행하는가?
• RQ3 이 방법이 다수 클래스의 큰 규모 준지도 학습을 더 빠르고 확장 가능하게 만들 수 있는가?
• RQ4 소프트맥스 온도 어닐링이 학습 안정성과 성능에 미치는 영향은 무엇인가?

주요 결과

• Gumbel-Softmax는 Bernoulli 및 범주 잠재 변수에서 단일 샘플 그래디언트 추정기보다 우수하다.
• ST Gumbel-Softmax는 종종 성능이 동등하거나 우수하며, 보통 Gumbel-Softmax가 모든 태스크에서 최고 성능을 보인다.
• 다수 클래스의 준지도 분류에서 주변화 기반 추론에 비해 상당한 학습 속도 향상을 제공한다.
• 온도 tau의 어닐링은 편향(비연속성 쪽으로의 편향)과 그래디언트 분산 간의 제어 가능한 절충을 제공하며, 실용적 스케줄이 잘 작동한다.
• MNIST 기반 태스크(SBN 및 VAE)에서 로그 가능도 지표(nats)가 개선되고, 준지도 설정에서 정확도를 희생하지 않으면서 수렴 속도가 빨라졌다.
• 이 방법은 이산 잠재 변수에 대한 역전파를 가능하게 하여 큰 범주 공간을 갖는 모델의 확장 가능한 학습을 촉진한다.