[논문 리뷰] Controllable Neural Story Generation via Reinforcement Learning.

Pradyumna Tambwekar, Murtaza Dhuliawala외 4명|arXiv (Cornell University)|2018. 09. 27.

Topic Modeling참고 문헌 28인용 수 24

한 줄 요약

이 논문은 사전에 훈련된 언어 모델이 일관되고 목표 지향적인 스토리 플롯을 생성하도록 유도하기 위해 스토리 코퍼스로부터 보상 형상화를 사용하는 강화학습 기반 방법을 제안한다. 중간 보상에 대한 역전파를 통해 기준 모델 대비 더 현실적인 사건 진행을 보이는 스토리를 학습하게 되며, 이는 자동 평가 지표와 인간 평가를 통해 검증되었다.

ABSTRACT

Language-modeling--based approaches to story plot generation attempt to construct a plot by sampling from a language model (LM) to predict the next character, word, or sentence to add to the story. LM techniques lack the ability to receive guidance from the user to achieve a specific goal, resulting in stories that don't have a clear sense of progression and lack coherence. We present a reward-shaping technique that analyzes a story corpus and produces intermediate rewards that are backpropagated into a pre-trained LM in order to guide the model towards a given goal. Automated evaluations show our technique can create a model that generates story plots which consistently achieve a specified goal. Human-subject studies show that the generated stories have more plausible event ordering than baseline plot generation techniques.

연구 동기 및 목표

• 언어 모델을 사용한 신경 스토리 생성에서의 일관성과 목표 지향성 부족 문제를 해결하기 위해.
• 생성 과정에 외부 보상을 통합하여 사용자 가이드드 스토리 생성을 가능하게 하기 위해.
• 스토리 코퍼스에서 중간 보상을 학습하여 스토리 플롯 진행 방식을 향상시키기 위해.
• 자동 평가 지표와 인간 연구를 통해 방법의 효과성을 평가하기 위해.

제안 방법

• 스토리 생성을 위한 생성 네트워크로 사전에 훈련된 언어 모델을 사용한다.
• 이러한 방법은 스토리 코퍼스를 분석하여 서사적 구조에 기반한 중간 보상을 추출하는 보상 형상화 기법을 도입한다.
• 이러한 중간 보상은 강화학습을 통해 언어 모델을 훈련시키며, 생성 과정에서 보상의 역전파를 가능하게 한다.
• 보상 함수는 일관된 사건 순서와 특정 목표 향한 진행을 장려하도록 설계된다.
• 정책 기반 강화학습 방법을 사용하여 모델을 미세조정하며, 보상은 생성 정책 최적화를 위해 역전파된다.

실험 결과

연구 질문

• RQ1 스토리 코퍼스에서 유도된 보상 형상화가 신경 스토리 생성의 일관성과 목표 지향성 향상에 기여하는가?
• RQ2 제안된 방법은 기준 기법 대비 더 현실적인 사건 순서를 갖는 스토리 플롯을 생성하는가?
• RQ3 강화학습을 통해 모델은 특정 목표에 부합하는 스토리를 일관되게 생성할 수 있는가?

주요 결과

• 자동 평가를 통해 제안된 방법이 특정 목표를 일관되게 달성하는 스토리 플롯을 생성하는 것으로 확인되었다.
• 인간 평가 결과, 기준 기법 대비 생성된 스토리의 사건 순서가 훨씬 더 현실적으로 평가되었다.
• 중간 보상 통합으로 인해 서사 진행의 일관성이 향상된 것으로 나타났다.
• 보상 형상화 기법은 각 스토리에 대해 명시적 지도 없이도 언어 모델을 원하는 스토리 결과로 이끄는 데 성공했다.