[논문 리뷰] TVRecap: A Dataset for Generating Stories with Character Descriptions.

Mingda Chen, Kevin Gimpel|arXiv (Cornell University)|2021. 09. 18.

Topic Modeling참고 문헌 35인용 수 4

한 줄 요약

TVRecap는 팬 웹사이트에서 수집한 26,000개의 전문적으로 작성된 TV 에피소드 리캡으로 구성된 대규모 데이터셋으로, 간략한 요약과 광범위한 캐릭터 문서로부터 세부적이고 캐릭터 중심의 스토리를 생성하는 데 요구된다. 오라클 콘텐츠 선택기와 함께 사용된 계층적 신경망 모델이 자동 평가 지표에서 최고 성능을 기록하여, 제약 조건이 있는 스토리 생성 및 개괄적 요약 연구에 이 데이터셋이 가치가 있음을 입증한다.

ABSTRACT

We introduce TVRecap, a story generation dataset that requires generating detailed TV show episode recaps from a brief summary and a set of documents describing the characters involved. Unlike other story generation datasets, TVRecap contains stories that are authored by professional screenwriters and that feature complex interactions among multiple characters. Generating stories in TVRecap requires drawing relevant information from the lengthy provided documents about characters based on the brief summary. In addition, by swapping the input and output, TVRecap can serve as a challenging testbed for abstractive summarization. We create TVRecap from fan-contributed websites, which allows us to collect 26k episode recaps with 1868.7 tokens on average. Empirically, we take a hierarchical story generation approach and find that the neural model that uses oracle content selectors for character descriptions demonstrates the best performance on automatic metrics, showing the potential of our dataset to inspire future research on story generation with constraints. Qualitative analysis shows that the best-performing model sometimes generates content that is unfaithful to the short summaries, suggesting promising directions for future work.

연구 동기 및 목표

• 복잡한 캐릭터 간 상호작용과 세부적인 묘사를 포함한 전문적으로 작성된 스토리 생성 데이터셋을 구축하는 것.
• 짧은 요약과 광범위한 캐릭터 문서를 바탕으로 일관되고 맥락에 부합하는 스토리를 생성하는 과제를 해결하는 것.
• 스토리 생성 과제에서 입력과 출력 역할을 뒤바꿔서, 개괄적 요약에 대한 벤치마크를 제공하는 것.
• 긴 캐릭터 서술에서 유의미한 정보를 효과적으로 선택하고 통합할 수 있는 신경망 모델에 대한 연구를 자극하는 것.
• 생성된 스토리의 정확성과 품질이 원본 요약과 캐릭터 정보에 얼마나 부합하는지 평가하는 것.

제안 방법

• 팬 기여 웹사이트에서 수집한 자료를 바탕으로 TVRecap을 구축하여, 평균 1,868.7 토큰의 길이를 가진 26,000개의 에피소드 리캡을 확보했다.
• 요약과 캐릭터 문서를 처리하여 세부적인 리캡을 생성하는 계층적 스토리 생성 프레임워크를 설계했다.
• 캐릭터 문서에서 가장 관련성이 높은 정보를 식별하고 통합하기 위해 오라클 콘텐츠 선택기 메커니즘을 구현했다.
• 다양한 콘텐츠 선택 전략에 대해 성능을 비교하기 위해 자동 평가 지표를 사용해 모델을 평가했다.
• 리캡을 입력으로, 요약을 출력으로 삼아 데이터셋을 개괄적 요약 작업에 재사용했다.
• 생성된 콘텐츠와 입력 요약 간의 사실적 일관성을 평가하기 위해 정성적 분석을 수행했다.

실험 결과

연구 질문

• RQ1 신경망 모델은 짧은 요약과 광범위한 캐릭터 서술만을 가지고도 세부적이고 일관성 있는 TV 에피소드 리캡을 효과적으로 생성할 수 있는가?
• RQ2 기본 모델 대비 오라클 콘텐츠 선택기를 사용할 경우 스토리 생성 성능이 어떻게 향상되는가?
• RQ3 복잡한 캐릭터 간 상호작용에도 불구하고 생성된 스토리가 원본 짧은 요약에 얼마나 충실한가?
• RQ4 TVRecap는 개괄적 요약 작업에 실용적인 벤치마크로 활용될 수 있는가?
• RQ5 모델이 입력 요약에서 벗어나면서 발생하는 주요 실패 유형은 무엇인가?

주요 결과

• 오라클 콘텐츠 선택기를 갖춘 계층적 신경망 모델이 자동 평가 지표에서 가장 높은 성능을 기록했다.
• 이 데이터셋은 26,000개의 전문적으로 작성된 에피소드 리캡을 포함하고 있으며, 평균 길이가 1,868.7 토큰이다.
• 최고 성능을 낸 모델는 때로 입력 요약과 일치하지 않는 내용을 생성하여, 정확성 향상의 필요성을 시사한다.
• 입력과 출력 역할을 뒤바꿔 사용할 경우, TVRecap는 개괄적 요약 작업에 유효하고 도전적인 벤치마크가 된다.
• 정성적 분석 결과, 모델 출력이 때로 사실 오류를 포함하거나 원본 요약에서 벗어나는 경향이 있었다.
• 결과적으로, 장문의 캐릭터 서술을 효과적으로 통합하는 것은 스토리 생성에서 여전히 핵심 과제로 남아 있다.