[논문 리뷰] Hierarchical Neural Story Generation

Angela Fan, Mike Lewis외 1명|arXiv (Cornell University)|2018. 05. 13.

Topic Modeling참고 문헌 3인용 수 152

한 줄 요약

논문은 프리미스(premise)와 이야기(story)의 두 단계 프로세스와 융합 메커니즘 및 게이트된 다스케일 자기 주의로 일관성과 프롬프트 관련성을 향상시키는 계층적 스토리 생성 접근법을 도입하고 대규모 WritingPrompts 데이터셋에서 평가한다.

ABSTRACT

We explore story generation: creative systems that can build coherent and fluent passages of text about a topic. We collect a large dataset of 300K human-written stories paired with writing prompts from an online forum. Our dataset enables hierarchical story generation, where the model first generates a premise, and then transforms it into a passage of text. We gain further improvements with a novel form of model fusion that improves the relevance of the story to the prompt, and adding a new gated multi-scale self-attention mechanism to model long-range context. Experiments show large improvements over strong baselines on both automated and human evaluations. Human judges prefer stories generated by our approach to those from a strong non-hierarchical model by a factor of two to one.

연구 동기 및 목표

• 계층화를 통해 고수준의 계획 수립을 강제하여 개방형 스토리 생성을 동기 부여하고 해결한다.
• 내러티브의 장거리 일관성을 연구하기 위한 대규모 프롬프트-스토리 데이터셋을 만든다.
• 프롬프트에 대한 관련성을 유지하기 위해 프리트레이드 모델과의 융합, 게이트된 다스케일 자기 주의 등의 모델 혁신을 개발한다.
• 일관성과 프롬프트 준수에 대해 자동 지표와 인간 판단 모두로 개선을 평가한다.

제안 방법

• 합성적 언어 모델로 먼저 프롬프트(프리미스)를 생성한 후 이 프롬프트를 조건으로 Conv seq2seq 모델로 이야기를 생성하는 두 단계 생성을 구성한다.
• 긴 텍스트의 병렬 처리를 가능하게 하는 합성 인코더-디코더 아키텍처를 채용한다.
• 다른 시간 규모의 맥락을 모델링하고 과거 정보를 선택하기 위한 게이트를 갖춘 게이트된 다스케일 자기 주의(Self-attention)를 도입한다.
• 프리트레이드된 seq2seq와 두 번째 seq2seq 모델을 결합하여 프롬프트에 대한 조건화를 개선하는 커다란 융합 메커니즘(cold fusion과 유사)을 적용한다.
• 생성에 대해 top-k 샘플링을 사용하고 프롬프트 작성을 위한 프롬프트-언어 모델을 사용하여 퍼플렉시티와 프롬프트 관련성, 인간 판단의 평가를 수행한다.

실험 결과

연구 질문

• RQ1 계층적 생성(먼저 프리미스, 그다음 이야기)이 장문 내러티브 생성에서 일관성과 프롬프트 주제 준수를 향상시키는가?
• RQ2 프리트레이드 모델과의 융합 및 게이트된 다스케일 자기 주의가 비계층적 기준선과 비교해 프롬프트 관련성과 장거리 일관성을 향상시키는가?
• RQ3 개방형 프롬프트-스토리 설정이 인간 평가와 자동 지표에서 어떻게 다르게 평가되는가?
• RQ4 제안된 주의 메커니즘이 스토리의 장거리 의존성 모델링에 미치는 효과는 무엇인가?

주요 결과

• 계층적 생성이 비계층적 기준선에 비해 인간의 선호를 크게 향상시킨다(67.32% 대 32.68%).
• 게이트된 다스케일 자기 주의 및 새로운 주의 메커니즘이 WritingPrompts 데이터셋에서 퍼플렉시티를 크게 감소시킨다(예: 게이팅으로 테스트 퍼플렉시티가 45.27에서 37.94로 감소).
• 모델 융합(프리트레이드된 모델 위에 두 번째 seq2seq 모델을 학습)은 생성된 이야기가 프롬프트에 연결될 가능성을 크게 높이고 매개변수가 적은 앙상블보다 우수한 성능을 보인다.
• 융합은 표준 seq2seq 모델이 포착하기 어려운 프롬프트-스토리 간 의존성을 학습하게 하며 인간 평가에서 프롬프트-스토리 페어링 정확도가 향상된다.
• 융합 모델은 훈련 인스턴스를 넘는 무한 생성이 가능하도록 하면서 프롬프트와 이야기 간 연결 품질에서 최근접 이웃 성능에 근접할 수 있다.