[논문 리뷰] Towards Coherent and Consistent Use of Entities in Narrative Generation

Pinelopi Papalampidi, Kris Cao외 1명|arXiv (Cornell University)|2022. 02. 03.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 장기적 서사 생성에서 엔티티의 일관성과 일관성을 향상시키기 위해 대규모 사전 훈련된 언어 모델에 동적 엔티티 메모리 모듈을 제안한다. 토큰 수준의 엔티티 주석과 함께 학습 가능한 엔티티 메모리에 대한 교차 어텐션을 통합함으로써, 특히 제한된 컨텍스트 창에서 장거리 엔티티 추적 능력이 크게 향상되며, 이는 자동 평가 지표와 인간 평가를 통해 검증되었다.

ABSTRACT

Large pre-trained language models (LMs) have demonstrated impressive capabilities in generating long, fluent text; however, there is little to no analysis on their ability to maintain entity coherence and consistency. In this work, we focus on the end task of narrative generation and systematically analyse the long-range entity coherence and consistency in generated stories. First, we propose a set of automatic metrics for measuring model performance in terms of entity usage. Given these metrics, we quantify the limitations of current LMs. Next, we propose augmenting a pre-trained LM with a dynamic entity memory in an end-to-end manner by using an auxiliary entity-related loss for guiding the reads and writes to the memory. We demonstrate that the dynamic entity memory increases entity coherence according to both automatic and human judgment and helps preserving entity-related information especially in settings with a limited context window. Finally, we also validate that our automatic metrics are correlated with human ratings and serve as a good indicator of the quality of generated stories.

연구 동기 및 목표

• 장기 서사 생성 과정에서 사전 훈련된 언어 모델이 엔티티의 일관성과 일관성을 유지하는 데에 있어 한계를 체계적으로 분석하는 것.
• 현재 모델들이 제한된 컨텍스트 창이 있는 장기 서사에서 엔티티 관련 정보를 유지하지 못함을 특정하는 것.
• 유창성이나 일관성을 희생시키지 않고 엔티티 일관성을 향상시키는 엔드 투 엔드 학습 가능한 동적 엔티티 메모리 기반의 메커니즘을 제안하는 것.
• 제안된 자동 평가 지표가 인간 평가와 상관관계가 있으며 서사 품질의 신뢰할 수 있는 지표로 기능할 수 있음을 검증하는 것.

제안 방법

• 생성된 스토리에서 엔티티 사용을 정량화하기 위해 공명성(C), 제어(정확한 매칭 및 부분집합 매칭), 일관성(V) 등의 자동 평가 지표 세트를 제안한다.
• 각 트랜스포머 레이어에서 교차 어텐션 메커니즘을 사용해 엔티티 표현을 저장하고 업데이트하는 동적 엔티티 메모리로 사전 훈련된 언어 모델을 보강한다.
• 컨텍스트에 대한 자체 어텐션과 엔티티 메모리에 대한 교차 어텐션을 조합하기 위한 게이팅 메커니즘을 도입하여 다중 엔티티 조건부 생성을 가능하게 한다.
• 메모리 읽기 및 쓰기 지도를 위해 훈련 중 교차 어텐션 점수를 골드 스탠다드 토큰 수준의 엔티티 주석을 사용해 정규화한다.
• 엔티티 메모리 활용도와 일관성을 향상시키기 위해 보조 엔티티 관련 손실을 사용해 전체 모델을 엔드 투 엔드로 훈련한다.
• 장기 서사 생성을 시뮬레이션하기 위해 다양한 컨텍스트 창 크기를 적용한 두 가지 서사 데이터셋—WritingPrompts와 WikiPlots—에서 평가한다.

실험 결과

연구 질문

• RQ1 현재 사전 훈련된 언어 모델은 장기 서사 생성 과정에서 엔티티의 일관성과 일관성을 유지하는 데에 얼마나 잘 성과를 내는가?
• RQ2 엔티티 일관성과 일관성에 대한 자동 평가 지표가 인간 평가와 얼마나 상관관계가 있는가?
• RQ3 제한된 컨텍스트 창 조건 하에서 동적 엔티티 메모리가 엔티티 일관성을 향상시키고 엔티티 관련 정보를 유지하는 데에 효과적인가?
• RQ4 제안된 메모리 보강 모델은 인간 평가 품질과 엔티티 사용 측면에서 기존의 순수 언어 모델과 비교해 어떻게 다른가?
• RQ5 공명성, 제어, 일관성 중 어느 요소가 인간 선호도에 가장 큰 영향을 미치는가?

주요 결과

• 자기 모델(S-MnemeLM)은 자동 평가 지표와 인간 평가를 통해 기존의 순수 언어 모델 대비 엔티티 공명성에서 뚜렷한 향상을 보였다.
• 인간 평가자들은 메모리 보강 모델을 더 공명성이 높고 더 선호하는 경향을 보였으며, 반면 순수 언어 모델은 자주 최악으로 평가되었다.
• 공명성 지표(C)는 인간 평가와 중간 정도의 피어슨 상관관계(rₐ = 0.32)를 보였으며, 이는 서사 품질의 신뢰할 수 있는 자동 지표임을 시사한다.
• 제한된 컨텍스트 창 조건 하에서도 엔티티 관련 정보를 훨씬 더 잘 유지했으며, 장기 서사에서 엔티티 정보 손실를 줄였다.
• 일관성은 평가하기 가장 어려운 요소였으며, 자동 평가 지표와 인간 평가 간 상관관계가 가장 낮았고(rₐ = 0.08) 평가가 여전히 도전 과제로 남아 있음을 시사한다.
• 낮은 상관관계에도 불구하고 인간이 작성한 스토리는 생성된 스토리보다 훨씬 높은 일관성을 보였으며, 향후 연구에서 메우어야 할 격차가 있음을 시사한다.