[論文レビュー] Inspiration through Observation: Demonstrating the Influence of Automatically Generated Text on Creative Writing

Melissa Roemmele|arXiv (Cornell University)|Jul 8, 2021

Artificial Intelligence in Games被引用数 10

ひとこと要約

本研究は、自動生成されたテキストを観察することで人間の創造的ライティングに与える影響を調査し、物語らしさのある文（ストーリャブルな文）を生成する文の穴埋めタスクに焦点を当てる。ニューラル言語モデルを用いて例文を生成し、その結果、人間の著者がこれらの例文を観察することで、著しく物語らしさの高い文を生成することが判明。これは直接的な複製なしに「観察によるインスピレーション」効果を示している。

ABSTRACT

Getting machines to generate text perceived as creative is a long-pursued goal. A growing body of research directs this goal towards augmenting the creative writing abilities of human authors. In this paper, we pursue this objective by analyzing how observing examples of automatically generated text influences writing. In particular, we examine a task referred to as sentence infilling, which involves transforming a list of words into a complete sentence. We emphasize "storiability" as a desirable feature of the resulting sentences, where "storiable" sentences are those that suggest a story a reader would be curious to hear about. Both humans and an automated system (based on a neural language model) performed this sentence infilling task. In one setting, people wrote sentences on their own; in a different setting, people observed the sentences produced by the model while writing their own sentences. Readers then assigned storiability preferences to the resulting sentences in a subsequent evaluation. We find that human-authored sentences were judged as more storiable when authors observed the generated examples, and that storiability increased as authors derived more semantic content from the examples. This result gives evidence of an "inspiration through observation" paradigm for human-computer collaborative writing, through which human writing can be enhanced by text generation models without directly copying their output.

研究の動機と目的

• AIが生成したテキストを観察することで、人間の創造的ライティングパフォーマンスが向上するかどうかを調査すること。
• 自動生成された例文が、文の穴埋めタスクにおける人間が書いた文の物語らしさに与える影響を評価すること。
• 生成された例文からの意味的影響が、人間のライティング成果に与える影響を調査すること。
• 観察の効果がタスクの難易度によってどのように変化するか、特に困難なライティング状況において評価すること。
• 人間とコンピュータが共同でライティングを行う文脈において、「観察によるインスピレーション」というパラダイムに実証的証拠を提供すること。

提案手法

• 人間の著者が、AIが生成した例文の有無に応じた2条件（あり／なし）で文の穴埋めタスクを実施する制御実験を実施した。
• 語のプロンプトに基づいて意味的関連性と物語的可能性を確保した例文を、ニューラル言語モデルを用いて生成した。
• 読者の好みの判断を通じて「物語らしさ」を操作的に定義し、参加者がどの文をもっと読みたいと感じたかを尋ねた。
• 語彙的および意味的類似度の指標を用いて、観察後の人の文と生成された例文との類似度を測定した。
• プロンプトの難易度（簡単 vs. 困難）に基づいて物語らしさの差を分析し、文脈的要因の影響を評価した。
• 著作者の行動、影響のパターン、および物語的魅力の主観的評価に関する定性的および定量的データを収集・分析した。

実験結果

リサーチクエスチョン

• RQ1 AIが生成した文を観察することで、文の穴埋めタスクにおける人間が書いた文の物語らしさが向上するか？
• RQ2 人間の著者が創造的ライティングの過程で、観察したAIが生成した例文からどれほど意味的コンテンツを抽出しているか？
• RQ3 ライティングプロンプトの難易度が、生成された例文の影響が物語らしさに与える効果をどのように調節するか？
• RQ4 生成された例文から、人間のライティング成果に最も顕著に影響を与える意味的または概念的特徴は何か？
• RQ5 直接的な対話やモデル出力の複製なしに、「観察によるインスピレーション」というパラダイムが人間の創造性を高められるか？

主な発見

• AIが生成した例文を観察した著者の文は、露出なしに書かれた文よりも著しく物語らしさが高いと判断された。
• 物語らしさの向上は、著者が生成された例文から抽出した意味的コンテンツの量に比例しており、複製を伴わない有意義な影響を示している。
• 観察の効果は、簡単なプロンプトよりも困難なプロンプトにおいて顕著に強く、困難なライティング状況での利点が大きいことを示している。
• 簡単なプロンプトと困難なプロンプトの両方において、観察後の文と生成例文との意味的類似度に有意差はなく、影響の強度が簡単なケースで弱いわけではないが、物語らしさの向上効果が低いことを示している。
• 著者は生成された例文を単に複製したり模倣したりするのではなく、アイデアを再構成または言い換えることで、潜在的な意味的関係を再解釈する概念的活性化を示している。
• 結果は、著者の入力を置き換えることなく、非侵襲的で観察に基づくAI支援が、人間の創造性を高め、新たな物語的展開をインスピレーションすることで、創造的ライティングを強化できることを支持している。