[논문 리뷰] Maximum-Likelihood Augmented Discrete Generative Adversarial Networks

Tong Che, Yanran Li외 5명|arXiv (Cornell University)|2017. 02. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 175

한 줄 요약

MaliGAN은 이산 시퀀스에서 GAN을 학습시키기 위한 분산 감소 및 최대우도 보강 objective를 제안하여 텍스트 및 기타 이산 데이터 생성 과제에서 안정성 및 성능을 향상시킵니다.

ABSTRACT

Despite the successes in capturing continuous distributions, the application of generative adversarial networks (GANs) to discrete settings, like natural language tasks, is rather restricted. The fundamental reason is the difficulty of back-propagation through discrete random variables combined with the inherent instability of the GAN training objective. To address these problems, we propose Maximum-Likelihood Augmented Discrete Generative Adversarial Networks. Instead of directly optimizing the GAN objective, we derive a novel and low-variance objective using the discriminator's output that follows corresponds to the log-likelihood. Compared with the original, the new objective is proved to be consistent in theory and beneficial in practice. The experimental results on various discrete datasets demonstrate the effectiveness of the proposed approach.

연구 동기 및 목표

• 자가회귀 이산 생성 모델에서의 노출 바이어스와 학습 불안정성 해결.
• 분별기 출력의 낮은 분산을 활용하는 최대우도 보강 목적 함수 도입.
• 고정된 목표 분포와 중요 샘플링을 사용하여 이산 데이터에 대한 GAN 학습의 안정화.
• 이산 MNIST, 시 생성, 문장 단위 언어 모델링에서의 향상된 성능 시연.

제안 방법

• 고정된 증강 목표 분포 q(x) = (D(x)/(1-D(x))) p'(x) 를 지연된 생성기 p' 를 안정화 참조로 정의한다.
• KL(q(x) || p_theta(x)) 를 최적화하는 중요 샘플링 그래디언트를 통해 ∇ L_G(theta) ≈ E_p'[ (r_D(x)/Z) ∇_theta log p_theta(x) ], 여기서 r_D(x) = D(x)/(1-D(x)).
• 기울기 추정기의 분산을 줄이기 위해 기준값 b 를 사용하고 미니배치 내 가중치를 정규화한다.
• 긴 시퀀스의 서로 다른 단계를 가중치하기 위해 몬테카를로 트리 탐색(MCTS)와 같은 분산 감소 기법을 도입한다.
• 긴 시퀀스에 대해 감독 가능한 우도와 MaliGAN 목표를 결합하는 혼합 MLE-Mali 학습을 적용한다.

실험 결과

연구 질문

• RQ1 판별기 출력에 기반한 최대우도 기반 목표가 이산 시퀀스 GAN의 학습을 안정화할 수 있는가?
• RQ2 판별기가 최적 또는 근사 최적일 때 MaliGAN 목표에 대한 이론적 보장은 무엇인가?
• RQ3 분산 감소 기법(MCTS, 혼합 MLE-Mali 학습)이 이산 시퀀스 생성을 안정화하고 성능을 향상시키는가?
• RQ4 MLE 및 SeqGAN과 비교하여 MaliGAN은 이산 MNIST, 시 생성, 문장 단위 언어 모델링에서 어떻게 성능을 보이는가?
• RQ5 제안된 접근법이 실제로 노출 바이어스와 손실 평가 불일치를 완화하는가?

주요 결과

• MaliGAN은 고정된 목표 분포를 가진 KL(q||p_theta)을 근사하는 이론적으로 건전한 목표를 제공하여 안정성을 향상시킨다.
• r_D(x) 를 이용한 중요 샘플링 기반 기울기 추정기가 D의 직접 보상이나 log D보다 분산이 더 낮음을 보여준다.
• MaliGAN with variance reduction은 이산 MNIST, 시 생성, Penn Treebank perplexity 과제에서 안정적인 학습과 질적·양적 우수한 결과를 달성한다.
• 혼합 MLE-Mali 학습이 포함된 순차 MaliGAN은 분산을 더 감소시키고 긴 시퀀스의 안정성을 강화한다.
• MaliGAN은 시 생성에서 perplexity 감소와 BLEU-2 향상을 보이고 PTB의 문장 단위 perplexity도 MLE 및 SeqGAN 대비 낮다.