[논문 리뷰] SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient

Lantao Yu, Weinan Zhang외 2명|arXiv (Cornell University)|2016. 09. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 293

한 줄 요약

SeqGAN은 시퀀스 생성을 강화학습으로 다루고, GAN 판별기를 엔드 시퀀스 보상으로 사용하며 Monte Carlo 롤아웃으로 디스크리트 토큰 생성기를 학습시키는 정책 기울기(Policy Gradient)를 사용한다. 합성 및 실제 시퀀스 작업에서 기저 모델보다 우수하다.

ABSTRACT

As a new way of training generative models, Generative Adversarial Nets (GAN) that uses a discriminative model to guide the training of the generative model has enjoyed considerable success in generating real-valued data. However, it has limitations when the goal is for generating sequences of discrete tokens. A major reason lies in that the discrete outputs from the generative model make it difficult to pass the gradient update from the discriminative model to the generative model. Also, the discriminative model can only assess a complete sequence, while for a partially generated sequence, it is non-trivial to balance its current score and the future one once the entire sequence has been generated. In this paper, we propose a sequence generation framework, called SeqGAN, to solve the problems. Modeling the data generator as a stochastic policy in reinforcement learning (RL), SeqGAN bypasses the generator differentiation problem by directly performing gradient policy update. The RL reward signal comes from the GAN discriminator judged on a complete sequence, and is passed back to the intermediate state-action steps using Monte Carlo search. Extensive experiments on synthetic data and real-world tasks demonstrate significant improvements over strong baselines.

연구 동기 및 목표

• 시퀀스 생성에서 노출 편향(exposure bias)와 학습/추론 불일치를 해결한다.
• 디스크리트 토큰 시퀀스에 대해 미분 가능성을 제거하고 GAN 기반 학습을 가능하게 한다.
• 몬테카를로 롤아웃을 통해 판별자 보상으로부터 최적의 확률적 정책(생성기)을 최적화한다.
• 합성 데이터 및 시, 시, 음악 생성과 같은 실제 작업에서의 효과를 입증한다.

제안 방법

• 강화학습에서 시퀀스 생성기를 확률적 정책으로 모델링한다.
• CNN 기반 판별기를 사용해 전체 시퀀스를 판단하고 보상 신호를 제공한다.
• 중간 상태에 대한 행동-가치 Q를 추정하기 위해 몬테카를로 탐색을 적용한다.
• 판단자 보상(Eq. 9–11)을 사용한 정책 기울기(REINFORCE)로 생성기를 최적화한다.
• 최대가능도(ML)로 G를 선행 학습하고 G와 D 사이를 교대로 학습한다(Algorithm 1).
• N개의 샘플에 대해 롤아웃 정책 Gβ를 활용해 중간 보상을 추정한다(Eq. 4–7).

실험 결과

연구 질문

• RQ1 GAN을 디스크리트 시퀀스 생성을 강화학습으로 효과적으로 적용해 디스크리트 출력에 대한 기울기를 전달하지 않고도 학습할 수 있는가?
• RQ2 판별자-유도 정책 최적화가 BLEU-가이드 PG 기저모델, MLE, 스케줄드 샘플링보다 생성 시퀀스의 품질을 향상시키는가?
• RQ3 SeqGAN은 합성 분포 및 실제 시퀀스 작업(시, 시, 음악 생성)에서 어떻게 성능을 보이는가?

주요 결과

Algorithm	NLL	p-value
Random	10.310	<10^{-6}
MLE	9.038	<10^{-6}
SS	8.985	<10^{-6}
PG-BLEU	8.946	<10^{-6}
SeqGAN	8.736	<10^{-6}

• SeqGAN은 합성 데이터에서 NLL 오로리 점수 측면에서 기저 방법(MLE, 예정된 샘플링, PG-BLEU)보다 유의하게 우수하다.
• SeqGAN은 중국 시 생성, 오바마 연설, 음악 생성 등의 실제 작업에서 BLEU 및 인간 판단을 포함한 지표에서 기저 대비 큰 개선을 보인다.
• 훈련 전략(g-steps, d-steps, 롤아웃 크기 k)은 안정성과 수렴에 영향을 주며, 특정 구성에서 안정적이고 우수한 성능을 보인다.
• 판별자 기반 보상은 BLEU와 같은 특정 작업 지표보다 시퀀스 생성을 안내하는 보편적 신호를 제공한다.