[논문 리뷰] DP-GAN: Diversity-Promoting Generative Adversarial Network for Generating Informative and Diversified Text

Jingjing Xu, Xuancheng Ren외 2명|arXiv (Cornell University)|2018. 02. 05.

Topic Modeling참고 문헌 33인용 수 58

한 줄 요약

DP-GAN은 언어 모델 기반 판별기를 사용해 생성 텍스트의 참신성을 보상하고, 리뷰 및 대화 생성에서 반복적 기반보다 다양성과 정보성을 촉진한다.

ABSTRACT

Existing text generation methods tend to produce repeated and "boring" expressions. To tackle this problem, we propose a new text generation model, called Diversity-Promoting Generative Adversarial Network (DP-GAN). The proposed model assigns low reward for repeatedly generated text and high reward for "novel" and fluent text, encouraging the generator to produce diverse and informative text. Moreover, we propose a novel language-model based discriminator, which can better distinguish novel text from repeated text without the saturation problem compared with existing classifier-based discriminators. The experimental results on review generation and dialogue generation tasks demonstrate that our model can generate substantially more diverse and informative text than existing baselines. The code is available at https://github.com/lancopku/DPGAN

연구 동기 및 목표

• 표준 MLE 학습 생성기가 생성하는 반복적이고 단조로운 텍스트 문제를 해결한다.
• 적대적 강화 학습을 통해 생성 텍스트의 다양성과 정보성을 촉진한다.
• 포화되지 않는 보상을 제공하는 언어 모델 기반 판별기를 제안한다.
• 리뷰 및 대화 생성 과제에서 향상된 다양성과 관련성을 입증한다.

제안 방법

• 다중 문장 텍스트를 생성하기 위해 계층적 시퀀스-투-시퀀스 생성기를 사용한다.
• 이진 분류기 대신 교차 엔트로피를 보상으로 출력하는 언어 모델 기반 판별기를 채택한다.
• 판별기 출력으로 문장 수준 보상과 단어 수준 보상을 계산한다.
• 교차 엔트로피 보상을 사용하여 정책 기울기로 생성기를 학습한다.
• 대립 트레이닝 전에 생성기와 판별기를 각각 사전 학습시킨다.
• 효율성을 위해 단어 수준에서 몬테 카를로 프리 보상 계산을 활용한다.

실험 결과

연구 질문

• RQ1 언어 모델 기반 판별기가 참신성을 촉진하기 위해 포화되지 않고 정보성 보상을 제공할 수 있는가?
• RQ2 문장 수준 보상과 단어 수준 보상을 결합하면 각각만 사용할 때보다 더 큰 다양성과 정보성을 얻을 수 있는가?
• RQ3 리뷰 및 대화 생성에서 다양성과 관련성 측면에서 DP-GAN은 MLE, PG-BLEU, SeqGAN과 어떻게 비교되는가?
• RQ4 특히 저빈도 단어의 경우 DP-GAN이 실제 데이터 분포에 더 가깝게 텍스트를 생성하는가?

주요 결과

데이터세트	토큰	Dist-1	Dist-2	Dist-3	Dist-S
Yelp	DP-GAN(SW)	438.6K	3.4K	22.3K	49.6K
Yelp	DP-GAN(S)	438.6K	1.7K	7.5K	15.7K
Yelp	DP-GAN(W)	271.9K	2.8K	14.8K	29.0K
Amazon	DP-GAN(SW)	383.6K	1.9K	11.7K	26.3K
Amazon	DP-GAN(S)	467.6K	0.8K	3.6K	7.6K
Amazon	DP-GAN(W)	279.4K	1.6K	8.9K	18.4K
Dialogue	DP-GAN(SW)	97.3K	2.1K	10.8K	19.1K
Dialogue	DP-GAN(S)	112.2K	1.5K	5.2K	8.5K
Dialogue	DP-GAN(W)	79.4K	1.9K	7.7K	11.4K

• DP-GAN은 자동 다양성 지표(고유 어휘 유니그램, 이그램, 트라이그램, 문장)에서 기준선보다 현저히 우수하다.
• DP-GAN은 인간 평가에서도 다양성과 관련성 측면에서 더 높은 성능을 보이고, 유창성은 약간 하락하는 것에 불과하다.
• 문장 수준 보상과 단어 수준 보상의 조합은 둘 중 하나만 사용할 때보다 더 높은 다양성과 더 긴 텍스트를 제공한다.
• 언어 모델 기반 판별기는 보상 포화를 피하고 반복 텍스트와 참신한 텍스트를 더 잘 구분한다.
• DP-GAN 하의 생성 데이터 분포는 저빈도 단어를 포함해 실제 세계 분포에 더 가까이 근사한다.