[論文レビュー] Creativity Support in the Age of Large Language Models: An Empirical Study Involving Emerging Writers

Tuhin Chakrabarty, Vishakh Padmakumar+2 more|arXiv (Cornell University)|Sep 22, 2023

Topic Modeling被引用数 10

ひとこと要約

本論文は、17名のMFA学生が執筆した30篇の物語に対する協働執筆パートナーとしてGPT-3.5を評価し、作家が計画、翻訳、そしてレビューを通じてLLMをどのように活用するかを分析し、認識される長所と短所を評価する。

ABSTRACT

The development of large language models (LLMs) capable of following instructions and engaging in conversational interactions sparked increased interest in their utilization across various support tools. We investigate the utility of modern LLMs in assisting professional writers via an empirical user study (n=30). The design of our collaborative writing interface is grounded in the cognitive process model of writing that views writing as a goal-oriented thinking process encompassing non-linear cognitive activities: planning, translating, and reviewing. Participants are asked to submit a post-completion survey to provide feedback on the potential and pitfalls of LLMs as writing collaborators. Upon analyzing the writer-LLM interactions, we find that while writers seek LLM's help across all three types of cognitive activities, they find LLMs more helpful in translation and reviewing. Our findings from analyzing both the interactions and the survey responses highlight future research directions in creative writing assistance using LLMs.

研究の動機と目的

• 専門作家が現代的なLLMを理論的に基づいた協働執筆インターフェースでどのように活用するかを探る。
• 認知的活動（計画、翻訳、レビュー）のうち、LLM支援の恩恵を最も受けるのはどれかを調査する。
• 指示の使用パターンと最終的な物語へのモデルの寄与のパターンを検討する。
• LLMベースの創造性支援ツールの長所・短所と設計上の含意を特定する。

提案手法

• Flower and Hayesの認知過程モデル（計画、翻訳、レビュー）に基づく執筆インターフェースを設計する。
• 17名の新進作家から11ジャンルにわたる30篇の物語（1000–4000語）をGPT-3.5と共同作成する。
• 作家のプロンプトとモデルの応答を対対で収集し、完了後の調査を実施する。
• 指示の使用パターンを分析し、物語へのモデルの寄与を推定する。
• 作家にテンプレート化されたプロンプトを提供し、コンテキストの切り捨てによって4096トークンの文脈制限を管理する。

実験結果

リサーチクエスチョン

• RQ1 専門作家は共著執筆の過程で計画、翻訳、レビューの各段階でLLMsをどのように活用するか。
• RQ2 作家は下書き作成プロセスのどの認知活動でLLMsが最も有用だと感じているか。
• RQ3 指示の使用パターンとテンプレート化されたプロンプトと自由形式の指示への依存にどんな傾向が現れるか。
• RQ4 専門レベルの執筆ツールとしてのLLMsの認識される長所と短所は何か。

主な発見

• 作家は3つの認知活動すべてでLLMsを活用し、翻訳とレビューの支援が特に顕著である。
• 本研究は17名のMFA作家による11ジャンルの30篇の物語を生み出し、ほとんどの物語は1000〜2000語の範囲である。
• 総指示数とテンプレート化指示の割合の間に-0.37の負の相関があり、活動が高まるほどより具体的で非テンプレートのプロンプトが用いられることを示す。
• 作家は計画、翻訳、レビューの間を非線形に頻繁に行き来し、インターフェース設計を裏付けている。
• モデルの長所は書き直しとフィードバックの提供にあり、制約としては繰り返し、ステレオタイプ、ニュアンスの欠如、ダークな話題への対応の難しさなどが挙げられる。