[論文レビュー] Creative Writing with an AI-Powered Writing Assistant: Perspectives from Professional Writers

Daphne Ippolito, Ann Yuan+2 more|arXiv (Cornell University)|Nov 9, 2022

Topic Modeling被引用数 49

ひとこと要約

本論文は、Wordcraft という AI支援執筆エディタを用いた 13 名のプロ作家を対象とした長期研究を報告し、作業フロー、制約、創作における AI の役割を探る。声の保持の難しさ、定型表現への過度な依存、協働を生産的にするためのユーザーインターフェースの重要性を強調する。

ABSTRACT

Recent developments in natural language generation (NLG) using neural language models have brought us closer than ever to the goal of building AI-powered creative writing tools. However, most prior work on human-AI collaboration in the creative writing domain has evaluated new systems with amateur writers, typically in contrived user studies of limited scope. In this work, we commissioned 13 professional, published writers from a diverse set of creative writing backgrounds to craft stories using Wordcraft, a text editor with built-in AI-powered writing assistance tools. Using interviews and participant journals, we discuss the potential of NLG to have significant impact in the creative writing domain--especially with respect to brainstorming, generation of story details, world-building, and research assistance. Experienced writers, more so than amateurs, typically have well-developed systems and methodologies for writing, as well as distinctive voices and target audiences. Our work highlights the challenges in building for these writers; NLG technologies struggle to preserve style and authorial voice, and they lack deep understanding of story contents. In order for AI-powered writing assistants to realize their full potential, it is essential that they take into account the diverse goals and expertise of human writers.

研究の動機と目的

• 様々なバックグラウンドとジャンルにわたるプロ作家が、AI パワードの執筆アシスタントとどのように相互作用するかを評価する。
• Wordcraft を使用した際のブレインストーミング、ドラフト作成、世界観構築を含むワークフローを理解する。
• 専門家の有用性に影響を与えるスタイル、声、内容理解の限界を特定する。

提案手法

• 多様な背景を持つ published writers 13 名に対し、8 週間 Wordcraft を用いて 1,000-1,500語の物語を執筆してもらう。
• ジャーナルと各参加者につき二回のインタビューを通じて、オープンエンドの定性的フィードバックを収集する。
• ジャーナルとインタビューをコーディングして、ワークフロー、メンタルモデル、インターフェース/AI の制約に関するテーマを抽出する。
• Wordcraft のコントロールとチャットボットインターフェースを説明し、それらが執筆プロセスに与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 専門家の作家は、Wordcraft のような AI アシストツールを執筆ワークフローにどのように組み込むのか？
• RQ2 AI生成の提案をブレインストーミング、世界観構築、ドラフト作成に使用したとき、どんなワークフローが出てくるのか？
• RQ3 声の保持、陳腐な表現の回避、物語内容の理解における AI 執筆アシスタントの主な制約は何か？
• RQ4 ユーザーインターフェースとチャットボットの相互作用は、専門家作家の AI との協働にどのように影響するか？
• RQ5 AI ツールが専門作家をより良く支援するためには、どのような改善が必要か？

主な発見

• 作家は Wordcraft をブレインストーミングのパートナー、共同作家、ベータリーダー、リサーチアシスタントとして使い、個人ごとに強調の差がある。
• インターフェース設計と AI の制御性は、生産的な協働とツールの採用に大きく影響する。
• AI が生成した内容はしばしば特徴的な声に欠け、品質がばらつき、平易な表現や定型的表現が多い傾向があった。
• 参加者は、アイデア創出、世界観の詳細、書き直し、即興パートナーとして AI を使用するなど、出現するワークフローを示したが、AI 出力を自分で選別・編集する必要が多かった。
• チャットボットインターフェースはブレインストーミングには評価された一方、物語の内容や文体の選択に関して意味のある、意見を伴う指針を提供するのに苦労した。
• 小規模で洗練度の低いモデルはしばしばより興味深いエラーを生んだことがあり、大規模モデルは一貫性を提供する一方で文体制御と新規性を妨げた。