[논문 리뷰] Long Text Generation via Adversarial Training with Leaked Information

Jiaxian Guo, Sidi Lu외 4명|arXiv (Cornell University)|2017. 09. 24.

Topic Modeling참고 문헌 28인용 수 161

한 줄 요약

LeakGAN은 누설된 판별기 특징을 활용하여 장문 생성을 안내하는 계층적 생성기를 도입하고, 합성 데이터와 실제 데이터의 BLEU 점수 및 인간 판단을 모두 향상시킨다.

ABSTRACT

Automatically generating coherent and semantically meaningful text has many applications in machine translation, dialogue systems, image captioning, etc. Recently, by combining with policy gradient, Generative Adversarial Nets (GAN) that use a discriminative model to guide the training of the generative model as a reinforcement learning policy has shown promising results in text generation. However, the scalar guiding signal is only available after the entire text has been generated and lacks intermediate information about text structure during the generative process. As such, it limits its success when the length of the generated text samples is long (more than 20 words). In this paper, we propose a new framework, called LeakGAN, to address the problem for long text generation. We allow the discriminative net to leak its own high-level extracted features to the generative net to further help the guidance. The generator incorporates such informative signals into all generation steps through an additional Manager module, which takes the extracted features of current generated words and outputs a latent vector to guide the Worker module for next-word generation. Our extensive experiments on synthetic data and various real-world tasks with Turing test demonstrate that LeakGAN is highly effective in long text generation and also improves the performance in short text generation scenarios. More importantly, without any supervision, LeakGAN would be able to implicitly learn sentence structures only through the interaction between Manager and Worker.

연구 동기 및 목표

• GAN 하에서의 장문 생성의 어려움을 해결하기 위해 생성 중에 유익하고 단계별 지침을 제공한다.
• 판별기의 내부 특징을 누설 정보로 활용하여 생성기를 안내한다.
• 누설된 특징을 효과적으로 활용하기 위해 계층적 생성기(MANAGER와 WORKER)를 도입한다.
• 합성 데이터와 실제 데이터 코퍼스에서의 개선을 입증하고, 감독 없이 학습된 문장 구조를 분석한다.

제안 방법

• 판별기 Dφ는 CNN 기반 특징 추출기로부터 고수준 특징 f를 제공합니다.
• MANAGER(LSTM)와 WORKER(LSTM)를 갖춘 계층적 생성기 Gθ는 누설된 특징 ft를 사용하여 goal gt와 goal embedding wt를 생성합니다.
• WORKER는 현재 단어 xt와 목표 임베딩을 사용하여 Ot · wt / α의 로짓에 대해 소프트맥스를 통해 다음 단어를 생성합니다.
• TRAINING은 WORKER를 최적화하기 위해 REINFORCE를 사용합니다; MANAGER는 판별기 특징 공간에서 유리한 방향을 예측하도록 훈련됩니다( ft+c − ft 와의 코사인 유사도).
• 사전 학습은 MANAGER와 WORKER에 대한 감독 단계로 시작한 뒤 G와 D 간의 대립적 학습을 번갈아 수행합니다; 추가 기법으로는 bootstrapped rescaled activation, interleaved training, 및 온도 조절이 포함됩니다.

실험 결과

연구 질문

• RQ1 누설된 고수준 판별기 특징이 GAN 설정에서 장문 생성에 대한 가이드를 향상시킬 수 있는가?
• RQ2 계층적(매니저-워커) 생성기가 누설 정보를 더 잘 활용하여 일관된 장문을 생성하는가?
• RQ3 합성 데이터와 다양한 실제 코퍼스(길고, 중간 길이, 짧은 텍스트)에서 LeakGAN의 성능은 어떠한가?
• RQ4 매니저-워커 상호작용에서 학습된 문장 구조에 대한 어떤 통찰을 얻을 수 있는가?

주요 결과

• LeakGAN은 더 긴 시퀀스에서 합성 데이터에 대해 베이스라인보다 음의 로그 가능도가 더 낮다.
• EMNLP2017 WMT News에서 SeqGAN 및 RankGAN보다 BLEU 점수가 더 높다 (BLEU-2에서 BLEU-5까지, p<1e-6).
• COCO 이미지 자막에서 베이스라인보다 우수하다 (BLEU-2에서 BLEU-4까지, p<1e-6).
• 중국 시에서 BLEU 점수를 향상시킨다 (BLEU-2, p<1e-6).
• 튜링 테스트에서 LeakGAN의 생성 텍스트가 베이스라인보다 실제 텍스트와 구분되지 않는 경우가 더 자주 나타난다 (p<1e-6).
• 시각적 분석은 누설된 특징이 생성기를 실제 데이터 특징 영역으로 유도하고 학습된 구조적 단서를 감독 없이 드러냄을 시사한다.