[논문 리뷰] SummScreen: A Dataset for Abstractive Screenplay Summarization

Mingda Chen, Zewei Chu외 2명|arXiv (Cornell University)|2021. 04. 14.

Topic Modeling인용 수 27

한 줄 요약

SummScreen은 TV 시리즈 대본(transcripts)과 사람이 작성한 요약(recaps)을 제공하여 추상적 스크린플레이 요약을 연구하고, 대화에서 플롯을 추출하는 데의 도전과제를 강조하며 엔터티 중심 평가 지표를 도입합니다. Oracle 추출 기반이 신경망 모델보다 우수하게 작동하는 반면, 비-Oracle 하이브드는 콘텐츠 선택의 개선 여지가 있는 경쟁력 있는 충실도(faithfulness)를 보여줍니다.

ABSTRACT

We introduce SummScreen, a summarization dataset comprised of pairs of TV series transcripts and human written recaps. The dataset provides a challenging testbed for abstractive summarization for several reasons. Plot details are often expressed indirectly in character dialogues and may be scattered across the entirety of the transcript. These details must be found and integrated to form the succinct plot descriptions in the recaps. Also, TV scripts contain content that does not directly pertain to the central plot but rather serves to develop characters or provide comic relief. This information is rarely contained in recaps. Since characters are fundamental to TV series, we also propose two entity-centric evaluation metrics. Empirically, we characterize the dataset by evaluating several methods, including neural models and those based on nearest neighbors. An oracle extractive approach outperforms all benchmarked models according to automatic metrics, showing that the neural models are unable to fully exploit the input transcripts. Human evaluation and qualitative analysis reveal that our non-oracle models are competitive with their oracle counterparts in terms of generating faithful plot events and can benefit from better content selectors. Both oracle and non-oracle models generate unfaithful facts, suggesting future research directions.

연구 동기 및 목표

• 서사적이고 대화 중심 텍스트에서 플롯 세부 정보가 대본 전반에 흩어져 있어도 추상적 요약의 필요성과 가치를 제고한다.
• TV 쇼로부터 크고 에피소드형 데이터셋을 제공하여 길고 다중 화자 대화와 플롯 통합을 연구한다.
• 생성 요약에서 등장인물 커버리지와 관계를 평가하는 두 가지 엔터티 중심 지표를 도입한다.
• 신경망, 최근접사(nearest-neighbor), 하이브리드 접근법의 벤치마크를 통해 현 상태의 능력과 격차를 이해한다.

제안 방법

• ForeverDreaming과 TVMegaSite의 대본에서 인간이 작성한 요약과 함께 SummScreen을 구축한다.
• 긴 대본 처리를 위해 [EOS] 토크나이제이션을 사용하는 Longformer 인코더를 이용하고 이를 Transformer 디코더에 입력한다.
• 최근접 이웃 기준선(transcript-to-transcript, recap-to-transcript, recap-to-recap)과 신경망 seq2seq 모델을 평가한다.
• recap-to-transcript 콘텐츠 선택자(BM25)를 사용한 하이브드 모델을 제안하고 그 뒤에 신경 생성(BART-large)을 적용한다.
• 등장인물 커버리지와 관계를 측정하기 위한 엔터티 중심 지표들: bag-of-characters(BoC)와 bag-of-character-relations(BoR)을 도입한다.
• Predicate 매칭과 등장인물 관계의 유사성에 초점을 맞춘 인간 평가를 수행한다.

실험 결과

연구 질문

• RQ1 현재의 신경망 및 최근접 이웃 모델이 긴 TV 대본에서 충실한 추론된 플롯 요약을 얼마나 잘 생성하는가?
• RQ2 콘텐츠 선택자와 하이브드 접근법이 순수 신경망 또는 추출 기반 방법에 비해 추상적 스크린플레이 요약을 개선하는가?
• RQ3 엔터티 중심 콘텐츠가 요약 평가 및 생성 품질에 어떤 영향을 미치는가?
• RQ4 오라클(Oracle) 추출 기준선과 비-오라클 모델 간에 격차가 존재하는가, 콘텐츠 선택에 어떤 함의를 가지는가?
• RQ5 요약이 핵심 플롯 이벤트와 등장인물 개발 또는 유머를 의도한 비플롯 대화를 어떻게 균형 있게 다루는가?

주요 결과

• 오라클 추출 방식은 자동 지표에서 모든 모델을 일관되게 능가하여 신경망 모델의 콘텐츠 선택 개선 여지가 있음을 시사한다.
• 최근접 이웃 모델(특히 recap-to-transcript)이 강력한 성능을 보이며 콘텐츠 선택의 상한선을 제시한다.
• 신경망 모델은 일반적 의미 유사도에서 우수하지만 엔터티 중심 지표에서는 비-오라클 기준선에 비해 뒤처진다.
• 오라클 콘텐츠 선택자를 가진 하이브드 모델은 의미적 및 엔터티 관련 지표를 모두 개선하여 콘텐츠 선택이 유망한 연구 방향임을 시사한다.
• 인간 평가에서 비-오라클 하이브드 모델이 플롯 이벤트를 충실하게 생성하는 데 경쟁력이 있지만, 오라클과 비-오라클 모델 모두 신뢰성 없거나 잘못된 사실을 생성할 수 있어 충실도 중심 연구가 필요하다.
• SummScreen은 자동 지표에서 MediaSum보다 어렵게 나타나며, 길고 다화자 서사 대본의 도전 과제를 강조한다.