[논문 리뷰] Simulating H.P. Lovecraft horror literature with the ChatGPT large language model

Eduardo C. Garrido‐Merchán, José Luis Arroyo Barrigüete외 1명|arXiv (Cornell University)|2023. 05. 05.

Topic Modeling인용 수 16

한 줄 요약

이 논문은 GPT-4를 통해 특수 프롬프트로 H.P. Lovecraft의 스타일을 모방하는 것을 입증하고, 학부생들이 생성 텍스트를 Lovecraft의 텍스트와 구별할 수 있는지 평가한 결과, 이 두 텍스트를 신뢰성 있게 구분하지 못함을 발견했다.

ABSTRACT

In this paper, we present a novel approach to simulating H.P. Lovecraft's horror literature using the ChatGPT large language model, specifically the GPT-4 architecture. Our study aims to generate text that emulates Lovecraft's unique writing style and themes, while also examining the effectiveness of prompt engineering techniques in guiding the model's output. To achieve this, we curated a prompt containing several specialized literature references and employed advanced prompt engineering methods. We conducted an empirical evaluation of the generated text by administering a survey to a sample of undergraduate students. Utilizing statistical hypothesis testing, we assessed the students ability to distinguish between genuine Lovecraft works and those generated by our model. Our findings demonstrate that the participants were unable to reliably differentiate between the two, indicating the effectiveness of the GPT-4 model and our prompt engineering techniques in emulating Lovecraft's literary style. In addition to presenting the GPT model's capabilities, this paper provides a comprehensive description of its underlying architecture and offers a comparative analysis with related work that simulates other notable authors and philosophers, such as Dennett. By exploring the potential of large language models in the context of literary emulation, our study contributes to the body of research on the applications and limitations of these models in various creative domains.

연구 동기 및 목표

• GPT 기반 Lovecraft의 글쓰기 스타일 시뮬레이션을 문학 커뮤니티에 설명한다.
• 맥락 내 및 지식 프롬프트를 사용하여 Lovecraft 스타일의 프롬프트를 개발한다.
• 생성된 텍스트가 학부생에 의해 Lovecraft의 글과 구별할 수 없는지 경험적으로 평가한다.

제안 방법

• GPT-4 아키텍처와 자기회귀 생성의 기본 원리를 설명한다.
• 광범위한 문학적 레퍼런스를 반영한 상세한 Lovecraft 스타일 프롬프트를 구성한다.
• 출력을 Lovecraftian 특징으로 이끄는 제로샷 및 지식 프롬프트를 사용한다.
• Lovecraft에서 영감을 받은 이야기를 생성하고 작가성의 유사성을 AI 및 인간 설문으로 평가한다.
• 진짜 Lovecraft 텍스트와 생성된 텍스트의 구별 가능성을 테스트하기 위해 학부생을 대상으로 설문을 수행한다.

실험 결과

연구 질문

• RQ1 GPT-4 기반 프롬프트 엔지니어링 모델이 prior exposure가 없는 독자들에게 Lovecraft의 공포 글쓰기에 비할 만큼 구별 불가능한 텍스트를 생성할 수 있는가?
• RQ2 Lovecraft의 스타일을 모방하는 데 가장 효과적인 프롬프트 엔지니어링 기법과 스타일적 레퍼런스는 무엇인가?
• RQ3 실험 조건에서 인간 피실험자가 Lovecraft와 AI가 생성한 Lovecraftian 텍스트를 구별하는 데 얼마나 신뢰할 수 있는가?

주요 결과

• GPT-4는 특수 프롬프트에 의해 안내될 때 Lovecraft의 스타일을 저자들과 AI 기반 평가 모두에 의해 근접하게 모방할 수 있다(유사성 점수 약 8.5/10).
• Lovecraft 노출이 전혀 없는 301명의 학부생 설문에서 Lovecraft 대 AI 텍스트의 정답 식별 비율은 기회와 차이가 나지 않았다(p-값은 두 비교에서 각각 0.9945 및 0.7901).
• 학부생은 보고된 결과를 바탕으로 진짜 Lovecraft의 작품과 GPT가 생성한 텍스트를 신뢰성 있게 구분하지 못했다.
• 프롬프트 구성, 서사 생성, 예비 인간/AI 평가를 포함한 단계적 방법론을 제시하고, 향후 연구에서 추가 개선 및 전문가 평가를 위한 계획이 있다.
• 저자는 전문적 스타일 문서화 필요성과 현재 AI 이해의 한계, 인간 감독의 역할에 관한 제약을 논의한다.