[논문 리뷰] Learning to Predict Explainable Plots for Neural Story Generation

Gang Chen, Yang Liu외 4명|arXiv (Cornell University)|2019. 12. 05.

Topic Modeling참고 문헌 39인용 수 10

한 줄 요약

이 논문은 인간이 이해할 수 있는 자연어 개요를 고수준 플롯으로서 잠재변수로 학습하여, 스토리 제목과 생성된 스토리 사이의 정보 격차를 메우는 잠재변수 모델을 제안한다. 외부 요약 모델과 함께 계획 모델을 공동으로 훈련하고, 모든 가능한 개요를 전수 조사하지 않도록 하는 공동 목적함수를 사용함으로써, 두 가지 벤치마크 데이터셋에서 자동 평가 및 인간 평가 모두에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Story generation is an important natural language processing task that aims to generate coherent stories automatically. While the use of neural networks has proven effective in improving story generation, how to learn to generate an explainable high-level plot still remains a major challenge. In this work, we propose a latent variable model for neural story generation. The model treats an outline, which is a natural language sentence explainable to humans, as a latent variable to represent a high-level plot that bridges the input and output. We adopt an external summarization model to guide the latent variable model to learn how to generate outlines from training data. Experiments show that our approach achieves significant improvements over state-of-the-art methods in both automatic and human evaluations.

연구 동기 및 목표

• 짧은 제목에서 긴 스토리를 생성하는 신경망 스토리 생성에서 발생하는 정보 격차를 해결하기 위해 고수준 플롯을 잠재변수로 도입한다.
• 실수치 벡터가 아닌 자연어 문장으로 플롯을 표현함으로써 해석 가능성성을 향상시킨다.
• 훈련 데이터에서 관측되지 않는 개요를 학습하는 과제를 해결하기 위해 외부 요약 모델을 감독 신호로 사용한다.
• 나쁜 개요에서 기인하는 오류 전파 문제를 줄이기 위해 개요 생성 모델과 스토리 생성 모델을 공동으로 훈련한다.
• 훈련 중에 다양한 예측된 개요에 노출되도록 하여 모델의 강건성과 일반화 능력을 향상시킨다.

제안 방법

• 모델는 입력 제목과 출력 스토리 사이를 연결하는 잠재변수로 자연어 문장(개요)을 취급한다.
• 외부 텍스트 요약 모델이 잠재 개요 생성을 위한 감독을 제공하여, 모델가 타이틀과 관련된 타당한 개요를 생성하도록 이끈다.
• 모든 가능한 개요를 명시적으로 열거하지 않도록 하기 위해, 개요 품질과 스토리 생성을 동시에 최적화하는 공동 훈련 목적함수를 도입한다.
• 모델는 개요가 훈련 중에 샘플링되며, 샘플링 과정을 통해 역전파가 수행되는 변동형 추론 프레임워크를 사용한다.
• 훈련 목적함수(Eq. 4)는 생성된 개요가 요약 모델의 출력과 유사할 뿐 아니라, 스토리 생성기가 진짜 스토리를 재구성할 수 있도록 보장한다.
• 스토리 생성기에서 자기주의 기반(self-attention) 메커니즘을 사용하여 장거리 의존성을 모델링하고 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 신경망 모델은 신경 스토리 생성에서 제목과 스토리를 효과적으로 연결하는 인간이 이해할 수 있는 자연어 개요를 학습할 수 있는가?
• RQ2 고정되거나 외부에서 제공되는 개요를 사용하는 것과 비교해, 요약 모델과 공동으로 훈련함으로써 개요 및 스토리 생성의 품질과 강건성이 어떻게 향상되는가?
• RQ3 개요 생성을 학습함으로써 열악하거나 열악한 개요에서 기인하는 오류 전파 문제를 어느 정도 줄일 수 있는가?
• RQ4 공동 목적함수를 사용하는 잠재변수 모델은 직접 매핑 또는 개요 및 스토리 구성 요소를 별도로 훈련하는 것보다 더 나은 성능을 내는가?
• RQ5 훈련 과정에서 생성된 개요는 어떻게 변화하며, 시간이 지남에 따라 더 정보가 풍부하고 관련성이 높아지는가?

주요 결과

• 제안된 방법은 두 가지 벤치마크 데이터셋에서 자동 평가(Eq. 4 참조, 예: BLEU 점수) 및 인간 평가 모두에서 최신 기술(SOTA) 수준의 방법보다 뚜렷한 성능 향상을 달성한다.
• 모델는 다양한 훈련 코퍼스 크기에서 기존 방법보다 일관된 슈퍼리어리티를 유지하며, 데이터 스케일에 대해 강건함을 입증한다.
• 계획 모델이 생성한 개요는 훈련 과정에서 진전되며, 요약 모델의 결과보다 더 정보가 풍부한 것으로 나타났으며, 반복 32K에서 스토리와 관련된 더 rich한 내용을 포함하고 있다.
• 기존 방법이 주제 일관성을 유지하지 못하는 상황에서도, 모델는 유창하고 일관성 있고 제목과 관련된 스토리를 성공적으로 생성한다.
• 공동 훈련 목적함수 덕분에 모델는 훈련 중에 예측된 개요에 노출되며, 완벽한 개요에 의존하는 것을 줄이고 일반화 능력을 향상시킨다.
• 인간 평가 결과, 제안된 방법으로 생성된 스토리는 경쟁 방법보다 제목과 더 관련성이 높고 더 일관성 있는 것으로 확인되었다.