[論文レビュー] Plan, Write, and Revise: an Interactive System for Open-Domain Story Generation

Seraphina Goldfarb-Tarrant, Haining Feng+1 more|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling参考文献 9被引用数 5

ひとこと要約

本論文は、計画、執筆、見直しの複数段階で人間の協働を可能にするインタラクティブなニューラル物語生成システムを提示する。このシステムは、人間を含む複数段階の協働が、より少ないインタラクションを伴うベースラインと比較して物語の質を10–50%向上させることを示しており、ユーザーの関与度も向上させるとともに、創造性、一貫性、多様性の分野での的を射た改善を可能にする。

ABSTRACT

Story composition is a challenging problem for machines and even for humans. We present a neural narrative generation system that interacts with humans to generate stories. Our system has different levels of human interaction, which enables us to understand at what stage of story-writing human collaboration is most productive, both to improving story quality and human engagement in the writing process. We compare different varieties of interaction in story-writing, story-planning, and diversity controls under time constraints, and show that increased types of human collaboration at both planning and writing stages results in a 10-50% improvement in story quality as compared to less interactive baselines. We also show an accompanying increase in user engagement and satisfaction with stories as compared to our own less interactive systems and to previous turn-taking approaches to interaction. Finally, we find that humans tasked with collaboratively improving a particular characteristic of a story are in fact able to do so, which has implications for future uses of human-in-the-loop systems.

研究の動機と目的

• 計画、執筆、見直し段階における人間の協働のレベルが、オープンドメイン物語生成における物語の質とユーザー関与度に与える影響を調査すること。
• 物語計画、新規性の制御、反復的見直しにおけるユーザー参加が欠落している既存のシステムの限界を解決すること。
• ユーザーが創造性、因果的・時間的一貫性、関連性といった特定の物語の質を向上させるために、システムを的確に誘導できるかを評価すること。
• ターン・バイ・ターンのベースラインと比較し、時間制約下での多様な協働タイプの影響を評価すること。

提案手法

• システムは、3つのニューラル物語モデルを比較するクロス・モデルモードと、1つの選択済みモデルと協働するイントラ・モデルモードの2つの協働モードを採用する。
• ユーザーはトピックの提供、デコーディング温度（多様性）の調整、物語の共同作成、文の編集、および以前の内容の反復的見直しにより、後の生成内容に影響を与えることができる。
• ストーリー・プランナーは、Yaoら（2019）が提案した手法を応用し、語句ベースの物語概要を生成し、その後、ストーリー・ライターがそれをもとに完全な物語を生成する。
• システムは柔軟で非線形な協働をサポートする：ユーザーは任意の段階で計画やテキストを編集でき、その後の内容がリアルタイムで更新される。
• 多様性はソフトマックス温度の設定により制御され、ユーザー入力はspaCyによるトークン化とMosesによるデトークナイゼーションを経て、モデル出力と互換性を持たせる。
• 複数の識別器のアンサンブルが、創造性、関連性、因果的・時間的一貫性、全体の質といった指標で物語の質を評価する。

実験結果

リサーチクエスチョン

• RQ1 物語生成のどの段階（計画、執筆、見直し）で人間の協働が物語の質向上に最も効果的か？
• RQ2 計画、編集、多様性制御、見直しといった複数段階の協働が、ターン・バイ・ターンや単一段階の協働と比較して、物語の質とユーザー満足度に与える影響は？
• RQ3 ユーザーがシステムと的確な協働を行うことで、創造性や一貫性といった特定の物語の質を向上させられるか？
• RQ4 ユーザーが物語の質をどのように認識しているかが、異なる協働条件下で独立した人間の評価とどの程度一致するか？
• RQ5 以前の編集内容が後の内容に伝播する反復的見直しは、物語の一貫性と創造性に測定可能な向上をもたらすか？

主な発見

• 計画、執筆、見直し段階における人間の協働を増やすことで、より少ない協働を伴うベースラインと比較して、物語の質が10–50%向上した。
• ストーリー・オンative（生成された文の編集に特化）の条件では、創造性と因果的・時間的一貫性の独立評価が最も高く、ユーザーが自ら報告した質の評価は低かった。
• インタラクティブシステムでは、非インタラクティブなベースラインやターン・バイ・ターンシステムと比較して、ユーザーの関与度と満足度が顕著に高まった。
• 創造性や関連性といった特定の物語の質に焦点を当てた協働は、その指標における測定可能な向上をもたらした。All+実験は、すべての次元でAllを上回ったが、関連性を除いては。
• ターン・バイ・ターンベースラインは関連性では同等の成績を示したが、創造性と一貫性では劣っており、局所的な編集だけではグローバルな物語の質を向上させることは不十分であることが示された。
• ユーザーが自ら報告した質のスコアは、独立したランキングと一致しにくく、特にストーリー・オンative条件では、主観的質と客観的質の間に乖離が生じていることが示された。