[論文レビュー] Wordcraft: a Human-AI Collaborative Editor for Story Writing
Wordcraftは、ダイアログ型AIアシスタント（Meena）を統合したテキストエディタを提示し、作家の継続、インフィリング、展開、書き直しをfew-shot promptsを通じて支援し、物語創作における人間とAIの協働を探る。
As neural language models grow in effectiveness, they are increasingly being applied in real-world settings. However these applications tend to be limited in the modes of interaction they support. In this extended abstract, we propose Wordcraft, an AI-assisted editor for story writing in which a writer and a dialog system collaborate to write a story. Our novel interface uses few-shot learning and the natural affordances of conversation to support a variety of interactions. Our editor provides a sandbox for writers to probe the boundaries of transformer-based language models and paves the way for future human-in-the-loop training pipelines and novel evaluation methods.
研究の動機と目的
- 創作における言語モデルの活用と人間を介在させた編集の促進。
- AI支援を受けた計画立案、執筆、編集をサポートするエディタインターフェースを提供する。
- few-shot学習とダイアログモデルを統合した、対話的な物語作成ツールとして紹介する。
- AI支援執筆におけるユーザー相互作用パターンと、将来の学習・評価パイプラインの可能性を調査する。
提案手法
- 左側に執筆エリア、右側にAIアクションパネルを備えたWebベースのテキストエディタを開発する。
- 複数のタスクを実行するために、few-shot promptsを用いた単一の言語モデル（Meena）を使用する。
- ユーザー入力を段階的な対話コンテキストで覆い、対話型の継続を可能にする。
- ダイアログインターフェースを通じて、継続、インフィリング、展開、書き直しなどのタスクをサポートする。
- 定性的研究で、ダイアログ型 Meena と汎用言語モデル（GPLM）を比較する。
- 異なる編集アクションに対するタスク特化のプロンプト構築を実演する。
実験結果
リサーチクエスチョン
- RQ1ダイアログ型AIパートナーは、標準的なテキスト継続モデルより創作文作タスクをより良くサポートできるか？
- RQ2作家は計画、執筆、編集の各阶段でマルチタスクAIエディタとどのように相互作用するか？
- RQ3物語作成におけるAI出力の質と解釈性を向上させるプロンプト設計（few-shotコンテキスト）は何か？
- RQ4チャット風インターフェースを介して単一の言語モデルを用いて多様な執筆タスクを実行する際の長所と限界は何か？
主な発見
- few-shotプロンプトを用いた対話モデルは、場合によってGPLMより解釈性が高くタスク適合の出力を生成できる。
- 入力を物語志向の会話として位置づけるとMeenaは有用な継続を生成できる。
- インフィリングと展開のプロンプトは、タスク特化のfew-shot prompts を用いるとメタテキストを減らし関連性を高める。
- 書き直しは、プロンプトの framing に応じてトーンを柔軟に調整できる（描写的、ユーモラス等）。
- 出力は品質がばらつき、意味不明なものや偏った結果を含むことがあり、慎重な取り扱いと評価の必要性を浮き彫りにする。
- 微調整済みモデルは、インフィリングのような難しいタスクでfew-shot法を上回る場合があり、モデルサイズとタスク性能のトレードオフを示唆している。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。