[논문 리뷰] GANS for Sequences of Discrete Elements with the Gumbel-softmax Distribution

Matt J. Kusner, José Miguel Hernández-Lobato|arXiv (Cornell University)|2016. 11. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 207

한 줄 요약

본 논문은 Gumbel-softmax 출력을 갖는 GAN을 제안하여 LSTM을 사용해 이산 토큰의 시퀀스를 생성하고, 이산 시퀀스 데이터에 대한 미분 가능 학습을 가능하게 한다. 또한 CFG-생성 텍스트 작업의 학습을 시연하고, 온도 어닐링으로 학습 역학을 분석한다.

ABSTRACT

Generative Adversarial Networks (GAN) have limitations when the goal is to generate sequences of discrete elements. The reason for this is that samples from a distribution on discrete objects such as the multinomial are not differentiable with respect to the distribution parameters. This problem can be avoided by using the Gumbel-softmax distribution, which is a continuous approximation to a multinomial distribution parameterized in terms of the softmax function. In this work, we evaluate the performance of GANs based on recurrent neural networks with Gumbel-softmax output distributions in the task of generating sequences of discrete elements.

연구 동기 및 목표

• 역전파가 쉽지 않은 이산 시퀀스를 생성하기 위한 Generative Adversarial Networks(GAN)의 필요성을 제기한다.
• 이산 토큰 공간에서 미분 가능 샘플을 얻기 위한 Gumbel-softmax 분포를 도입한다.
• 텍스트 토큰과 같은 이산 시퀀스를 생성하기 위해 LSTM 기반 GAN을 구축하고 학습한다.
• CFG-생성 시퀀스 작업에서 접근법을 평가하고 학습 역학 및 하이퍼파라미터를 분석한다.

제안 방법

• Gumbel-softmax(방정식 4)를 사용하여 이산 출력 분포로부터 미분 가능 샘플을 생성한다.
• 생성자와 판별자를 학습 가능한 매개변수를 가진 LSTM으로 표현하여 시퀀스를 모델링한다.
• Algorithm 1에 따라 G와 D를 교대 업데이트하여 적대적 목표를 통해 GAN을 학습한다.
• 학습 중 Gumbel-softmax 온도 tau를 5에서 1로 어닐링하여 부드러운 샘플에서 더 경직된 샘플로 전환한다.
• 평가를 위한 제어된 CFG 기반 시퀀스 생성 작업(최대 길이 12; 5000 샘플)을 제공한다.
• 학습률 0.001의 고정 목표와 미니배치 크기 200으로 ADAM 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 Gumbel-softmax가 이산 요소의 시퀀스에 대한 GAN의 미분 가능 학습을 가능하게 할 수 있는가?
• RQ2 온도 어닐링이 이산 시퀀스 GAN의 품질과 학습 역학에 어떤 영향을 미치는가?
• RQ3 Gumbel-softmax를 갖춘 GAN이 CFG 생성 이산 시퀀스 작업을 학습하는 능력은 어떠한가?
• RQ4 생성자와 판별자가 둘 다 이산 데이터에 대한 LSTM일 때 학습 중에 어떤 상호 작용을 하는가?

주요 결과

• Gumbel-softmax를 갖춘 GAN은 학습 데이터 패턴과 닮은 이산 시퀀스를 생성할 수 있으며, 예를 들어 번갈아 나오는 x 시퀀스처럼 보이는 패턴을 생성한다.
• 5000샘플의 CFG 기반 이산 시퀀스 작업에 대한 학습은 이 접근법이 실제적인 시퀀스를 생성하는 것을 학습한다는 것을 보여준다(예: x+x−x/x 및 x−x*x*x*x).
• 학습 중 Gumbel-softmax 온도를 5에서 1로 어닐링하면 시간이 지남에 따라 미분 가능성과 모델 성능이 향상된다.
• 학습 중 생성 샘플 크기를 1000으로 증가시키면 최적화 역학과 결과에 영향을 줄 수 있다.
• 이 방법은 20,000 미니배치 반복과 ADAM 최적화로 시연되었으며 이산 시퀀스 생성에 대한 개념 증명으로서 유망한 결과를 보인다.
• 저자들은 VARIATIONAL DIVERGENCE MINIMIZATION이나 DENSITY RATIO ESTIMATION 같은 대안 GAN 학습 방법을 통한 잠재적 개선 가능성을 언급한다.