[論文レビュー] Simulating H.P. Lovecraft horror literature with the ChatGPT large language model

Eduardo C. Garrido‐Merchán, José Luis Arroyo Barrigüete+1 more|arXiv (Cornell University)|May 5, 2023

Topic Modeling被引用数 16

ひとこと要約

この論文は、特定のプロンプトを用いてGPT-4を使用してH.P. Lovecraftのスタイルをエミュレートすることを示し、学部生が生成テキストとLovecraftのものを区別できるかを評価し、彼らは信頼性をもって区別できないことを発見した。

ABSTRACT

In this paper, we present a novel approach to simulating H.P. Lovecraft's horror literature using the ChatGPT large language model, specifically the GPT-4 architecture. Our study aims to generate text that emulates Lovecraft's unique writing style and themes, while also examining the effectiveness of prompt engineering techniques in guiding the model's output. To achieve this, we curated a prompt containing several specialized literature references and employed advanced prompt engineering methods. We conducted an empirical evaluation of the generated text by administering a survey to a sample of undergraduate students. Utilizing statistical hypothesis testing, we assessed the students ability to distinguish between genuine Lovecraft works and those generated by our model. Our findings demonstrate that the participants were unable to reliably differentiate between the two, indicating the effectiveness of the GPT-4 model and our prompt engineering techniques in emulating Lovecraft's literary style. In addition to presenting the GPT model's capabilities, this paper provides a comprehensive description of its underlying architecture and offers a comparative analysis with related work that simulates other notable authors and philosophers, such as Dennett. By exploring the potential of large language models in the context of literary emulation, our study contributes to the body of research on the applications and limitations of these models in various creative domains.

研究の動機と目的

• 文学界へGPTベースのLovecraft執筆スタイルのシミュレーションを説明する。
• インコンテキストおよび知識 promptingを用いてLovecraft風のプロンプトを開発する。
• 学部生によって生成テキストがLovecraftの著作と区別できないかを経験的に評価する。

提案手法

• GPT-4のアーキテクチャと自己回帰生成の基本を説明する。
• 広範な文学参照に基づいた詳細なLovecraft風プロンプトを作成する。
• ゼロショットおよび知識 prompting を用いて出力をLovecraftian的特徴へ導く。
• Lovecraft風の物語を生成し、著者性の類似性をAIと人間の調査で評価する。
• 学部生を対象とした調査を実施し、真のLovecraft作品と生成テキストの識別可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 事前にLovecraftを知らない読者に対して、GPT-4ベースのプロンプト設計モデルはLovecraftのホラー文と区別不能なテキストを生成できるか？
• RQ2 Lovecraftの作風を模倣するのに最も効果的なプロンプト設計技法と文体的参照は何か？
• RQ3 実験条件下で人間の被験者がLovecraftとAI生成のLovecraftianテキストを区別する信頼性はどの程度か？

主な発見

• 特化したプロンプトに導かれたGPT-4は、著者およびAIベースの評価によってLovecraftの作風を密接に模倣できる（類似性スコアは約8.5/10）。
• 事前 Lovecraft未経験の301名の学部生を対象とした調査で、Lovecraft対AIテキストの正解識別率は偶然と同等を超えなかった（2つの比較でp値は0.9945および0.7901）。
• 報告された結果に基づき、学部生は真のLovecraft作品とGPT生成テキストを信頼性高く区別できなかった。
• 本研究は、プロンプトの構築、物語生成、予備的な人間/AI評価を含む段階的な方法論を概説しており、今後の作業でさらなる洗練と専門家評価を計画している。
• 著者らは専門家主導の作風文書化の必要性に関する制約を論じ、現在のAI理解の限界と人間の監督の役割を認めている。