[논문 리뷰] Consistency and Coherency Enhanced Story Generation

Wei Wang, Piji Li외 1명|arXiv (Cornell University)|2020. 10. 17.

Topic Modeling참고 문헌 29인용 수 4

한 줄 요약

이 논문은 스토리 개요를 먼저 구조화한 후 이를 전체 서사로 확장함으로써 일관성과 연속성을 향상시키는 이단계 스토리 생성 프레임워크를 제안한다. 공명성 감독과 논의 관계 분류 헤드를 통합함으로써 모델은 공명 오류를 크게 줄이고 문장 수준의 연속성을 향상시켜 자동 평가 지표와 인간 평가에서 GPT2 기반 베이스라인을 모두 능가한다.

ABSTRACT

Story generation is a challenging task, which demands to maintain consistency of the plots and characters throughout the story. Previous works have shown that GPT2, a large-scale language model, has achieved good performance on story generation. However, we observe that several serious issues still exist in the stories generated by GPT2 which can be categorized into two folds: consistency and coherency. In terms of consistency, on one hand, GPT2 cannot guarantee the consistency of the plots explicitly. On the other hand, the generated stories usually contain coreference errors. In terms of coherency, GPT2 does not take account of the discourse relations between sentences of stories directly. To enhance the consistency and coherency of the generated stories, we propose a two-stage generation framework, where the first stage is to organize the story outline which depicts the story plots and events, and the second stage is to expand the outline into a complete story. Therefore the plots consistency can be controlled and guaranteed explicitly. In addition, coreference supervision signals are incorporated to reduce coreference errors and improve the coreference consistency. Moreover, we design an auxiliary task of discourse relation modeling to improve the coherency of the generated stories. Experimental results on a story dataset show that our model outperforms the baseline approaches in terms of both automatic metrics and human evaluation.

연구 동기 및 목표

• GPT2가 생성하는 스토리에서 지속적인 문제인 플롯 불일치와 공명 오류를 해결하기 위해.
• 문장 간 논의 관계를 명시적으로 모델링하여 논의 연속성을 향상시키기 위해.
• 구조화된 스토리 개요 작성으로 플롯 일관성을 보장하는 이단계 프레임워크를 개발하기 위해.
• 공명 해결 및 논의 구조에 보조 감독을 통합하여 서사 품질을 향상시키기 위해.
• 자동 평가 지표와 인간 평가를 통해 모델을 평가하여 GPT2 기반 베이스라인을 능가함을 입증하기 위해.

제안 방법

• 모델은 이단계 접근 방식을 사용한다: 먼저 플롯 이벤트와 캐릭터 상태를 포괄하는 스토리 개요를 생성한 후, 이를 전체 서사로 확장한다.
• 학습 중 공명성 감독을 적용하여 추상적 표현과 명사 참조의 모호성을 줄여 공명 일관성을 향상시킨다.
• 문장 쌍 간의 관계(예: 대조, 원인, 조건 등)를 예측하기 위한 보조 작업으로 논의 관계 분류 헤드를 도입한다.
• 손실 함수는 언어 모델링 손실과 가중치가 부여된 논의 관계 예측 손실을 조합하며, λ₁ = 0.1 이 최적의 것으로 확인되었다.
• 모델은 두 단계 모두에서 사전 훈련된 트랜스포머 기반 자동회귀 언어 모델(TLM)을 활용하며, 구조화된 감독을 통해 미세조정한다.
• 디코딩 중에는 top-k 샘플링을 사용하지만, 구조화된 생성 과정으로 인해 무작위 토큰 생성의 영향이 연속성에 미치는 영향이 감소한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 자동회귀 모델 대비 이단계 생성 프레임워크가 스토리 생성의 플롯 일관성 향상에 기여하는가?
• RQ2 공명성 감독은 생성된 스토리에서 공명 오류 감소에 어떤 영향을 미치는가?
• RQ3 논의 관계 모델링은 장문의 서사에서 문장 수준의 연속성을 어느 정도 향상시키는가?
• RQ4 스토리 생성에서 언어 모델링과 보조 논의 관계 예측 간 최적의 트레이드오프는 무엇인가?
• RQ5 구조화된 스토리 개요 작성 통합이 직접 자동회귀 생성보다 더 일관성 있고 연속적인 서사를 만들어내는가?

주요 결과

• 제안된 모델은 자동 평가 지표와 인간 평가에서 모두 GPT2와 GPT2P를 능가하여 더 높은 수준의 스토리 품질을 보였다.
• 모델은 예측된 논의 관계 비율이 가장 높고, 알 수 없는 관계 비율이 가장 낮아 논의 연속성 향상이 뚜렷했다.
• 공명성 감독은 공명 오류를 크게 줄였으며, 생성된 스토리에서 더 적은 수의 모호하거나 잘못된 대명사 참조를 보였다.
• 이단계 프레임워크는 캐릭터 상태와 이벤트 순서에서의 모순 수가 적어 플롯 일관성이 더 우수하다는 점에서 효과를 입증했다.
• 논의 손실에 대한 최적의 가중치 λ₁ = 0.1 은 보조 작업과 주 언어 모델링 목표 간 균형을 맞추며 성능 저하 없이 성능을 유지하는 데 기여했다.
• 사례 연구 결과, 특히 캐릭터와 플롯의 연속성 유지에서 GPT2P 대비 더 더 일관성 있고 논리적으로 구조화된 스토리를 생성하는 것으로 나타났다.