[논문 리뷰] Toward Diverse Text Generation with Inverse Reinforcement Learning

Zhan Shi, Xinchi Chen외 2명|arXiv (Cornell University)|2018. 04. 30.

Topic Modeling참고 문헌 17인용 수 27

한 줄 요약

이 논문은 적대적 텍스트 생성 모델에서 보상 희소성과 모드 붕괴 문제를 해결하기 위해 텍스트 생성을 위한 역강화학습(IRL) 프레임워크를 제안한다. 상태별로 조밀한 보상 함수를 학습하고 엔트로피 정규화를 통한 정책 최적화를 통해 기존 방법들보다 더 다양한 고품질의 텍스트를 생성하며, COCO 및 IMDB 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Text generation is a crucial task in NLP. Recently, several adversarial generative models have been proposed to improve the exposure bias problem in text generation. Though these models gain great success, they still suffer from the problems of reward sparsity and mode collapse. In order to address these two problems, in this paper, we employ inverse reinforcement learning (IRL) for text generation. Specifically, the IRL framework learns a reward function on training data, and then an optimal policy to maximum the expected total reward. Similar to the adversarial models, the reward and policy function in IRL are optimized alternately. Our method has two advantages: (1) the reward function can produce more dense reward signals. (2) the generation policy, trained by "entropy regularized" policy gradient, encourages to generate more diversified texts. Experiment results demonstrate that our proposed method can generate higher quality texts than the previous methods.

연구 동기 및 목표

• 적대적 텍스트 생성 모델에서 보상 희소성과 모드 붕괴 문제를 해결하기 위해.
• 전문가 시퀀스에서 조밀한 보상 함수를 학습하여 텍스트 생성 품질을 향상시키기 위해.
• 엔트로피 정규화된 정책 최적화를 통해 생성 텍스트의 다양성을 증진하기 위해.
• 생성 텍스트 품질 평가를 위한 향상된 평가 지표를 BLEU 기반으로 개발하기 위해.
• 기존의 표준 GAN 기반 접근 방식과는 다를 바 있는 새로운 IRL 기반의 텍스트 생성 관점 제공하기 위해.

제안 방법

• 전문가 시퀀스를 학습 시퀀스로 삼아 텍스트 생성을 역강화학습(IRL) 문제로 공식화한다.
• 보상 근사기(reward approximator)를 사용하여 실제 학습 시퀀스에는 높은 보상을, 생성된 시퀀스에는 낮은 보상을 할당하는 보상 함수를 학습한다.
• 엔트로피 정규화를 통한 정책 그래디언트 방법을 사용해 생성기(generator)를 최적화하여 탐색과 다양성을 증진시킨다.
• GAN과 유사하게 보상 함수와 생성기를 번갈아가며 훈련하지만, 단계별로 조밀한 보상 신호를 제공한다.
• 안정적인 학습과 향상된 일반화를 보장하기 위해 최대 엔트로피 IRL 프레임워크를 활용한다.
• 유창성, 관련성, 커버리지 평가를 위해 BLEU 기반의 세 가지 새로운 평가 지표(BLEUF, BLEUB, BLEUHA)를 도입한다.

실험 결과

연구 질문

• RQ1 역강화학습(IRL)이 텍스트 생성에서 보상 희소성 문제를 효과적으로 완화할 수 있는가?
• RQ2 IRL 기반 텍스트 생성이 적대적 모델 대비 모드 붕괴를 줄이고 다양성을 향상시킬 수 있는가?
• RQ3 제안된 방법은 영화 리뷰와 같은 장문 텍스트 생성 작업에서 어떻게 성능을 발휘하는가?
• RQ4 새로운 BLEU 기반 지표가 기존 지표보다 생성 텍스트 품질을 더 잘 반영할 수 있는가?
• RQ5 인간 평가에서 IRL 프레임워크가 기존 GAN 기반 방법보다 뛰어난 성능을 보이는가?

주요 결과

• COCO 이미지 캡션 생성 데이터셋에서 IRL 모델은 BLEU 점수 0.550을 기록하여 MLE(0.205), SeqGAN(0.450), LeakGAN(0.543)을 모두 앞섰다.
• IMDB 영화 리뷰 데이터셋에서 IRL 모델은 BLEU 점수 0.463을 기록하여 MLE(0.138), SeqGAN(0.205), LeakGAN(0.385)보다 유의미하게 뛰어났다.
• 인간 터닝 테스트에서 IRL로 생성된 텍스트는 MLE, SeqGAN, LeakGAN의 결과보다 더 현실적으로 평가되었으며, 특히 장문의 시퀀스에서 두드러졌다.
• 사례 연구 결과, IRL은 더 유창하고 논리적이며 다양한 문장을 생성하며, 더 높은 의미 일관성과 richer한 콘텐츠를 제공함을 확인했다.
• 제안된 지표 BLEUF, BLEUB, BLEUHA는 인간 평가와 강한 상관관계를 보이며, 텍스트 품질 평가에 더 세밀한 시각을 제공함을 입증했다.
• 이 방법은 단계별 보상 학습을 통해 모드 붕괴를 효과적으로 줄이고 더 조밀한 보상 신호를 제공함으로써 안정적이고 효과적인 훈련을 가능하게 했다.