[논문 리뷰] TextGAIL: Generative Adversarial Imitation Learning for Text Generation

Qingyang Wu, Lei Li외 1명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling인용 수 5

한 줄 요약

TextGAIL는 텍스트 생성에서 훈련 안정성과 보상 신호 신뢰도를 향상시키기 위해 대규모 미사전 훈련된 언어 모델(RoBERTa 및 GPT-2)을 활용하는 생성적 적대적 묘사 학습 프레임워크를 제안한다. 대조적 판별기와 근접 정책 최적화(PPO)를 통합함으로써 TextGAIL는 무조건적 및 조건부 텍스트 생성 작업 모두에서 MLE 기반 베이스라인 대비 훨씬 높은 품질과 다양성을 달성하며, 판별기가 의미 있고 이식 가능한 보상 신호를 학습함을 입증한다.

ABSTRACT

Generative Adversarial Networks (GANs) for text generation have recently received many criticisms, as they perform worse than their MLE counterparts. We suspect previous text GANs' inferior performance is due to the lack of a reliable guiding signal in their discriminators. To address this problem, we propose a generative adversarial imitation learning framework for text generation that uses large pre-trained language models to provide more reliable reward guidance. Our approach uses contrastive discriminator, and proximal policy optimization (PPO) to stabilize and improve text generation performance. For evaluation, we conduct experiments on a diverse set of unconditional and conditional text generation tasks. Experimental results show that TextGAIL achieves better performance in terms of both quality and diversity than the MLE baseline. We also validate our intuition that TextGAIL's discriminator demonstrates the capability of providing reasonable rewards with an additional task.

연구 동기 및 목표

• 기존 텍스트 GAN의 낮은 성능 문제를 해결하기 위해 안정적인 훈련과 신뢰할 수 있는 보상 신호를 해결한다.
• 생성적 적대적 훈련에서 대규모 사전 훈련된 언어 모델을 신뢰할 수 있는 보상 제공자로 활용하여 텍스트 생성 품질과 다양성을 향상시킨다.
• 대조적 판별기와 근접 정책 최적화(PPO)를 통해 텍스트 GAN의 훈련을 안정화시킨다.
• 이전 연구가 무조건적 생성에 국한된 것에 비해, CommonGEN 및 ROCStories와 같은 조건부 텍스트 생성 작업으로까지 적대적 훈련을 확장한다.
• Story Cloze Test와 같은 후행 작업에서 zero-shot 평가를 통해 판별기가 의미 있고 이식 가능한 보상 신호를 학습하는지 검증한다.

제안 방법

• TextGAIL는 생성적 적대적 묘사 학습(GAIL)을 활용하여 판별기에서 제공하는 보상 신호를 사용해 생성기를 훈련하며, 정책 기울기 분산을 줄이기 위해 생성기는 PPO를 통해 훈련된다.
• 판별기는 RoBERTa로 초기화되고 실제 텍스트와 생성된 텍스트를 구분하도록 미세조정되어 생성기에게 안정적인 보상 신호를 제공한다.
• 대조적 판별기 아키텍처를 사용하여 실제 시퀀스와 생성된 시퀀스를 비교함으로써 조건부 생성 작업에서의 성능을 향상시킨다.
• 생성기는 GPT-2 기반 모델이며, 판별기의 보상 신호를 통해 PPO로 미세조정되며, 기존의 표준 MLE 훈련 방식을 대체한다.
• 품질-다양성 트레이드오프를 공정하게 비교하기 위해 온도 스위프트 평가를 사용한다.
• 제거 실험을 통해 사전 훈련, 대조적 판별, PPO 최적화의 기여도를 검증한다.

실험 결과

연구 질문

• RQ1 대규모 사전 훈련된 언어 모델이 텍스트 GAN의 보상 신호 신뢰도를 향상시켜 더 나은 생성 성능을 이끌 수 있는가?
• RQ2 GAIL에 PPO와 대조적 판별기를 결합하면 텍스트 생성의 훈련 안정성과 품질, 다양성이 향상되는가?
• RQ3 TextGAIL의 판별기가 스토리 엔딩 분류와 같은 후행 작업으로 일반화 가능한 의미 있는 보상 신호를 학습할 수 있는가?
• RQ4 TextGAIL는 무조건적 및 조건부 텍스트 생성 작업 모두에서 품질-다양성 트레이드오프 측면에서 MLE 기반 베이스라인을 능가하는가?
• RQ5 대조적 판별, 사전 훈련과 같은 아키텍처 선택이 텍스트 GAN의 안정성과 성능에 미치는 영향은 무엇인가?

주요 결과

• TextGAIL는 무조건적(COCO, EMNLP2017 News) 및 조건부(CommonGEN, ROCStories) 텍스트 생성 작업 모두에서 MLE 미세조정 베이스라인 대비 더 높은 품질과 다양성을 달성한다.
• TextGAIL의 판별기는 Story Cloze Test에서 79.1%의 정확도를 기록하여 미세조정된 GPT-2 모델(69.6%)을 크게 앞서며, 지도 학습 RoBERTa 모델(92.8%)에도 근접한다.
• 판별기에서 사전 훈련을 제거하면 Story Cloze Test 정확도가 51.2%로 떨어지며, 이는 사전 훈련이 신뢰할 수 있는 보상 학습을 위해 필수적임을 확인한다.
• 표준 단일 입력 시그모이드 판별기로 대조적 판별기를 대체하면 BLEU-2 및 Distinct-2 점수가 크게 하락하여, 조건부 생성에서 대조적 학습의 중요성을 입증한다.
• 제거 실험을 통해 PPO와 인간의 시범 데이터가 안정적인 훈련을 위해 필수적임을 확인하였으며, 사전 훈련된 모델을 직접 GAN 훈련에 사용할 경우 수렴하지 못함을 확인했다.
• TextGAIL는 사전 훈련된 모델이 적대적 훈련을 효과적으로 이끄는 데 성공하며, 더 나은 보상 신호와 향상된 생성 결과를 이끌어낸다.