[논문 리뷰] Creating Suspenseful Stories: Iterative Planning with Large Language Models

Kaige Xie, Mark Riedl|arXiv (Cornell University)|2024. 02. 27.

AI-based Problem Solving and Planning인용 수 4

한 줄 요약

이 논문은 감독 학습 데이터 없이 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 긴장감 있는 이야기를 생성하기 위한 이론 기반의 반복적 프롬프팅 방법을 제안한다. 주인공의 행동을 반복적으로 계획하고, 이를 적대적으로 무너뜨림으로써 긴장감을 증가시키는 방법으로, 인간 평가에서 기준 모델보다 유의미하게 높은 긴장감을 달성한다. 이는 긴장감 있는 이야기 생성을 위한 첫 번째 제로샷 LLM 기반 접근법이다.

ABSTRACT

Automated story generation has been one of the long-standing challenges in NLP. Among all dimensions of stories, suspense is very common in human-written stories but relatively under-explored in AI-generated stories. While recent advances in large language models (LLMs) have greatly promoted language generation in general, state-of-the-art LLMs are still unreliable when it comes to suspenseful story generation. We propose a novel iterative-prompting-based planning method that is grounded in two theoretical foundations of story suspense from cognitive psychology and narratology. This theory-grounded method works in a fully zero-shot manner and does not rely on any supervised story corpora. To the best of our knowledge, this paper is the first attempt at suspenseful story generation with LLMs. Extensive human evaluations of the generated suspenseful stories demonstrate the effectiveness of our method.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)을 사용한 긴장감 있는 이야기 생성 문제에 대해 아직 탐색되지 않은 과제를 해결하기 위해, 최근의 유창성 및 길이 향상에도 불구하고 긴장감을 효과적으로 포착하지 못하는 데 초점을 맞춘다.
• 감독 학습 코퍼스에 의존하지 않는 방법을 개발하여 심리학 이론에 기반한 완전한 제로샷 긴장감 있는 이야기 생성을 가능하게 한다.
• 단서 설정, 정보 공개 시점, 주인공에 대한 공감 등 독자가 긴장감을 어떻게 인식하는지 영향을 미치는 요소를 조사한다.
• 광범위한 인간 평가와 통제된 간섭 연구를 통해 제안된 방법의 효과성을 검증한다.

제안 방법

• 이 방법은 긴장감에 대한 심리학 이론에 기반한다: 독자가 부정적 결과를 피할 수 있는 방법의 수나 질이 감소할 때 긴장감을 느낀다.
• 반복적 프롬프팅을 사용하여 주인공이 목표를 햖을 때의 잠재적 행동을 생성한 후, 각 계획이 실패하도록 적대적으로 스토리 조건을 구성한다.
• 이 과정을 여러 번 반복하여 전체 내러티브 텍스트로 확장하기 전에 긴장감 있는 스토리 개요를 구축한다.
• 이 방법은 완전히 제로샷 방식으로 작동하며, 미세조정이나 감독 학습 데이터가 필요하지 않다.
• 긴장감 인식에 영향을 주기 위해 단서 배치 및 실패 공개 시점과 같은 이론 기반 설계 선택 사항을 통합한다.
• 통제된 설문 조사를 통해 인간 평가를 실시하여 다양한 스토리 변형에서 긴장감 수준, 공감, 선호도를 평가한다.

실험 결과

연구 질문

• RQ1 이론 기반의 제로샷 프롬프팅 방법은 감독 학습 데이터 없이도 LLM을 사용해 효과적으로 긴장감 있는 이야기를 생성할 수 있는가?
• RQ2 단서 설정과 실패 정보 공개 시점은 독자의 긴장감 인식에 어떤 영향을 미치는가?
• RQ3 독자가 주인공에 대해 느끼는 공감 수준이 긴장감 인식에 얼마나 영향을 미치는가?
• RQ4 제안된 반복적 프롬프팅 방법은 긴장감 있는 내러티브 생성에서 기준 프롬프팅 방법보다 어떻게 비교되는가?

주요 결과

• 57.9%의 참가자가 실패가 임박했음을 암시하는 단서 설정이 있는 스토리를 읽었을 때 더 높은 긴장감을 느꼈다. 이는 단서가 없는 스토리를 선호한 10.9%보다 유의미하게 높은 수치이며, 유의미성 수준 p < 0.05를 충족한다.
• 실패 조건이 사전에 공개된 경우 42.1%의 참가자가 더 높은 긴장감을 느꼈다. 반면 실패 조건이 이후에 공개된 경우 36.3%였으며, 이 차이는 통계적으로 유의미하지 않았다.
• 독자 공감과 긴장감 인식 사이에 강한 정적 상관관계가 관찰되었으며, 높은 긴장감 수준는 일반적으로 높은 공감과 관련이 있었다. 다만 일부 참가자는 높은 공감에도 불구하고 낮은 긴장감을 느꼈다.
• 제안된 방법은 인간 평가에서 기준 프롬프팅 방법보다 유의미하게 뛰어나, 긴장감 있는 내러티브 생성의 효과성을 입증했다.
• 연구는 단서 기반의 실패 시나리오 설정이 긴장감 인식을 높이는 데 핵심 요소임을 확인하였으며, 이는 제안된 방법의 이론적 기반을 지지한다.
• 이 방법은 인지심리학에 기반한 효과적인 완전한 제로샷 긴장감 있는 이야기 생성을 가능하게 하며, LLM 기반 내러티브 생성 분야에 새로운 기여를 한다.