[논문 리뷰] Outline to Story: Fine-grained Controllable Story Generation from Cascaded Events

Le Fang, Tao Zeng외 4명|arXiv (Cornell University)|2021. 01. 04.

Topic Modeling참고 문헌 32인용 수 5

한 줄 요약

이 논문은 다중 단락 스토리를 일련의 연결된 사건들로 구성된 세밀한 제어 신호로부터 생성하는 '개요에서 스토리로'(O2S) 작업을 소개한다. 저자들은 특수 토큰을 사용하여 사건과 단락을 구분하는 간단한 피니테이닝 방법인 FIST를 제안하며, 아키텍처 변경 없이도 최신의 조건부 생성 성능를 달성하여 장문 생성에서 강력한 제어성과 유연성을 확보한다.

ABSTRACT

Large-scale pretrained language models have shown thrilling generation capabilities, especially when they generate consistent long text in thousands of words with ease. However, users of these models can only control the prefix of sentences or certain global aspects of generated text. It is challenging to simultaneously achieve fine-grained controllability and preserve the state-of-the-art unconditional text generation capability. In this paper, we first propose a new task named "Outline to Story" (O2S) as a test bed for fine-grained controllable generation of long text, which generates a multi-paragraph story from cascaded events, i.e. a sequence of outline events that guide subsequent paragraph generation. We then create dedicate datasets for future benchmarks, built by state-of-the-art keyword extraction techniques. Finally, we propose an extremely simple yet strong baseline method for the O2S task, which fine tunes pre-trained language models on augmented sequences of outline-story pairs with simple language modeling objective. Our method does not introduce any new parameters or perform any architecture modification, except several special tokens as delimiters to build augmented sequences. Extensive experiments on various datasets demonstrate state-of-the-art conditional story generation performance with our model, achieving better fine-grained controllability and user flexibility. Our paper is among the first ones by our knowledge to propose a model and to create datasets for the task of "outline to story". Our work also instantiates research interest of fine-grained controllable generation of open-domain long text, where controlling inputs are represented by short text.

연구 동기 및 목표

• 사용자가 글로벌 프롬프트나 프리픽스 수준을 넘어서 단락 수준에서 내용을 제어할 수 있는 세밀한 제어가 가능한 장문 생성 문제를 해결하기 위함.
• 연속된 사건들로부터 다중 단락 스토리를 제어적으로 생성할 수 있는 새로운 벤치마크 작업인 '개요에서 스토리로'(O2S)를 만들기 위함.
• 사전 훈련된 모델의 강력한 무조건적 생성 능력을 유지하면서도 세밀한 제어가 가능한 간단하지만 효과적인 베이스라인 방법을 개발하기 위함.
• 키워드 추출 기법을 자동으로 적용하여 사건과 단락을 쌍으로 묶는 고품질, 대규모 데이터셋을 O2S를 위해 생성하기 위함.

제안 방법

• 사용자가 제시한 사건의 순서에 따라 각 사건이 하나의 단락을 제어하는 방식으로 스토리를 생성하는 새로운 작업인 '개요에서 스토리로'(O2S)를 제안한다.
• 최신의 키워드 추출 기법을 적용하여 단락에서 핵심 어휘를 추출함으로써 사건-스토리 쌍을 형성하는 데이터셋을 구축한다.
• 특수 토큰인 startofcond, sepofcond, endofcond를 사용하여 사건과 단락을 번갈아 배치하는 간단한 방법인 FIST(Fine-tuning with Special Tokens)를 설계한다.
• 표준 언어 모델링 목적함수를 사용하여 이러한 증강된 시퀀스에서 사전 훈련된 언어 모델을 피니테이닝함으로써, 모델이 사건에서 단락으로의 조건부 생성을 학습하도록 한다.
• 추론 단계에서 특수 토큰을 제어 신호로 사용하여, 부분적 또는 완전한 개요에 기반한 스토리 생성이 가능하도록 한다.
• 사용자가 사건의 부분 집합만 제공할 수 있도록 허용함으로써, 동적이고 적응형 스토리 생성이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이 특수 토큰을 사용한 단순한 피니테이닝 접근이 세밀한 제어가 가능한 장문 생성에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 FIST 방법은 사전 훈련된 모델의 무조건적 생성 품질을 유지하면서도 단락 수준의 제어를 얼마나 효과적으로 제공하는가?
• RQ3 모델은 불완전하거나 부분적인 개요에 얼마나 잘 일반화되는가? 이는 사용자 제어의 민첩성과 영향력을 어떻게 높이는가?
• RQ4 단락에서 자동으로 추출한 사건 개요는 고비용의 인간 레이블링 개요에 비해 실용적이고 확장 가능한 대체 수단이 될 수 있는가?

주요 결과

• FIST 방법은 O2S 작업에서 최신 성능을 기록하며, 자동 평가 및 인간 평가 지표 모두에서 기존 방법들을 능가한다.
• 모델는 각 개요의 사건가 의미적으로 밀접하게 일치하는 스토리를 생성함으로써 뛰어난 세밀한 제어성을 보여준다.
• 불완전한 개요가 주어져도 모델는 일관성과 관련성을 유지하며 높은 사용자 유연성과 적응성을 보인다.
• 특수 토큰의 사용은 새로운 파rameter를 도입하거나 모델 아키텍처를 수정하지 않고도 효과적인 조건부 생성을 가능하게 한다.
• 키워드 추출 기법을 활용한 자동으로 구성된 데이터셋은 고품질의 훈련 데이터를 제공하여 효과적인 피니테이닝과 견고한 일반화를 가능하게 한다.
• 모델는 수천 단어에 이르는 장문의 일관성 있고 주제에 부합하는 스토리를 생성할 수 있다.