[논문 리뷰] Re3: Generating Longer Stories With Recursive Reprompting and Revision

Kevin Yang, Yuandong Tian외 2명|arXiv (Cornell University)|2022. 10. 13.

Natural Language Processing Techniques인용 수 11

한 줄 요약

Re3는 초기 초안 기반의 제로샷 접근 방식을 사용하여 2,000~2,500단어 분량의 장문이고 일관된 스토리를 생성하기 위해 반복적인 프ompting 및 수정 프레임워크를 제안한다. 동적 재프롬프팅, 재순서 정렬 및 사실 편집을 통해 반복적으로 스토리 이어짐을 개선함으로써 장거리 플롯 일관성과 초점의 관련성을 향상시키며, 기준 모델 대비 인간 평가 기준 플롯 일관성에서 14%p 향상되고 초점 관련성에서 20%p 향상되었다.

ABSTRACT

We consider the problem of automatically generating longer stories of over two thousand words. Compared to prior work on shorter stories, long-range plot coherence and relevance are more central challenges here. We propose the Recursive Reprompting and Revision framework (Re3) to address these challenges by (a) prompting a general-purpose language model to construct a structured overarching plan, and (b) generating story passages by repeatedly injecting contextual information from both the plan and current story state into a language model prompt. We then revise by (c) reranking different continuations for plot coherence and premise relevance, and finally (d) editing the best continuation for factual consistency. Compared to similar-length stories generated directly from the same base model, human evaluators judged substantially more of Re3's stories as having a coherent overarching plot (by 14% absolute increase), and relevant to the given initial premise (by 20%).

연구 동기 및 목표

• 장문의 스토리(2,000~2,500단어)를 지속적인 플롯 일관성과 초점 관련성 유지하면서 생성하는 데 도전하는 것.
• 사람이 개입하지 않는 완전 자동화된 제로샷 프레임워크를 개발하여 인간의 글쓰기 과정을 모방하는 것.
• 반복적인 프롬프팅과 반복적 수정을 통해 장거리 일관성과 사실 일관성을 향상시키는 것.
• 생성된 스토리의 일관성, 관련성, 인간다움에 대한 인간 평가를 통해 프레임워크를 평가하는 것.
• 반복적인 재프롬프팅과 수정이 장문 스토리 생성에서 표준 윈도우 기반 자동회귀 생성 방식보다 뛰어나다는 것을 입증하는 것.

제안 방법

• Plan 모듈은 제로샷 프롬프트를 사용하여 초기 초점 기반으로 설정, 캐릭터, 플롯 포인트를 포함한 구조화된 스토리 초안을 생성한다.
• Draft 모듈은 초기 계획과 점진적으로 변화하는 스토리 상태의 맥락을 동적으로 통합하여 대규모 언어 모델을 반복적으로 재프롬프팅하여 각 신규 문단을 생성한다.
• Rewrite 모듈은 재순서 정렬 모델을 사용하여 플롯 일관성과 초점 관련성 기반으로 다수의 후보 계속 내용을 재순서 정렬한다.
• Edit 모듈은 가장 높은 순위를 받은 계속 내용에 대해 국소적인 편집을 수행하여 이전 스토리 내용과의 사실적 모순을 수정한다.
• Plan, Draft, Rewrite, Edit 모든 구성 요소는 제로샷이며 스토리 전용 데이터셋에 대한 미세조정이 필요하지 않다.
• 프레임워크는 종단 간(end-to-end)이며 완전 자동화되어 생성 또는 수정 과정에서 인간의 입력 없이 작동한다.

실험 결과

연구 질문

• RQ1 제로샷, 반복적인 프롬프팅 및 수정 프레임워크는 표준 자동회귀 기반 기준 모델 대비 장거리 플롯 일관성이 향상된 장문의 스토리(2,000~2,500단어)를 생성할 수 있는가?
• RQ2 구조화된 초안과 반복적 수정을 통합할 경우 장문 스토리 생성에서 초점 관련성 향상에 어느 정도 기여하는가?
• RQ3 인간 평가 기준으로 볼 때 제안된 프레임워크는 윈도우 기반 자동회귀 기준 모델 대비 일관성과 사실 일관성에서 어떻게 비교되는가?
• RQ4 생성된 스토리는 서사 품질과 일관성 면에서 인간이 작성한 스토리와 구분되지 않을 정도로 높은 수준인가?
• RQ5 반복적인 재프롬프팅과 다단계 수정은 장기적인 생성 수준에서 사실 모순을 어느 정도 감소시키는가?

주요 결과

• 인간 평가자들이 Re3가 생성한 스토리 중 14% 더 많은 비율이 통합된 플롯을 갖춘 것으로 평가했다. 이는 윈도우 기반 기준 모델 대비 향상된 결과이다.
• Re3가 생성한 스토리는 기준 모델 대비 초점 관련성에서 20%p의 절대적 향상을 보였다.
• 평가자들은 Re3가 생성한 스토리 중 최대 83%가 인간이 작성한 것으로 예측했으며, 이는 높은 서사 품질과 자연스러움을 의미한다.
• 프레임워크는 7,500단어 분량의 스토리를 성공적으로 생성하여 2,000~2,500단어 목표 길이를 초월한 확장성을 입증했다.
• 반복적인 재프롬프팅, 재순서 정렬, 편집의 조합은 미세조정 없이도 장거리 일관성과 사실 일관성을 크게 향상시켰다.
• 모든 모듈의 제로샷 성격 덕분에 스토리 전용 미세조정 없이도 다양한 도메인에 넓이 있게 적용 가능하다.