[論文レビュー] Computational Storytelling and Emotions: A Survey

Yusuke Mori, Hiroaki Yamane+2 more|arXiv (Cornell University)|May 23, 2022

Digital Storytelling and Education被引用数 5

ひとこと要約

本調査は、感情を計算的物語作成に統合する方法を検討し、感情に配慮した物語生成と理解が、創造的執筆における人間とコンピュータの協働を向上させることを提唱する。自然言語処理（NLP）、神経科学、およびプロフェッショナルな物語技法の知見を統合することで、本研究は、特に覚醒度と価値（valence）を含む感情の動きが、読者の関与度に顕著に影響することを示し、AI支援の物語創出に向けたフレームワークを提示する。

ABSTRACT

Storytelling has always been vital for human nature. From ancient times, humans have used stories for several objectives including entertainment, advertisement, and education. Various analyses have been conducted by researchers and creators to determine the way of producing good stories. The deep relationship between stories and emotions is a prime example. With the advancement in deep learning technology, computers are expected to understand and generate stories. This survey paper is intended to summarize and further contribute to the development of research being conducted on the relationship between stories and emotions. We believe creativity research is not to replace humans with computers, but to find a way of collaboration between humans and computers to enhance the creativity. With the intention of creating a new intersection between computational storytelling research and human creative writing, we introduced creative techniques used by professional storytellers.

研究の動機と目的

• 計算的物語作成における感情が物語理解、生成、読者関与度にどのように作用するかを調査すること。
• プロフェッショナルな物語技法を統合することで、計算言語学、物語理論、人間の創造的実践の間のギャップを埋めること。
• 特に覚醒度と価値が関与する感情的ダイナミクスが、読者の関心や物語の質を予測する上で果たす役割を検討すること。
• 感情科学とNLPに基づいて、AIが人間の創造性を補完する協働フレームワークを提唱すること。
• 物語生成と理解のタスクにおいて、カテゴリー的（例：NRC AIL）と次元的（例：VAD）の感情表現の有効性を評価すること。

提案手法

• 自然言語処理（NLP）、デジタル・ヒューマニティーズ、神経科学分野の既存文献を調査し、物語作成における主要な感情次元を同定すること。
• 感情の動き（例：「男が穴に落ちる」）を感情追跡と可視化技術を用いて分析し、物語の流れをモデル化すること。
• NRC AIL（カテゴリー的：怒り、恐怖、喜び、悲しみ、ニュートラル）とNRC VAD（次元的：価値、覚醒度、優位性）といった感情リクツを用いて感情表現を行うこと。
• エンティティベースの整合性モデル（例：センターイング理論）と物語構造（例：プロップの童話機能）を統合し、物語の一貫性を維持すること。
• アテンション機構とエンティティ追跡を介して感情的文脈を組み込んだニューラルテキスト生成モデルを適用すること。
• キャラクターや感情、出来事のラベル付けがなされたデータセット（例：LitBank）を構築・分析し、感情に配慮した物語モデリングを支援すること。

実験結果

リサーチクエスチョン

• RQ1 覚醒度と価値を含む感情の動きが、物語における読者の関心や関与度にどのように影響するか。
• RQ2 計算的物語作成における感情表現の最適な方法は何か：カテゴリー的（例：NRC AIL）か次元的（例：VAD）モデルか。
• RQ3 感情に配慮したプロフェッショナルな物語技法を、どのように計算的にモデル化し、創造的執筆を支援できるか。
• RQ4 感情の進行を感情次元を用いて制御することで、AI生成物語の質をどの程度向上できるか。
• RQ5 感情と認知に関する神経科学の知見を、物語理解と生成の計算モデルにどのように統合できるか。

主な発見

• 「男が穴に落ちる」のような感情の動きは、読者の関与度に顕著に影響し、特に高覚醒度の感情的変化が物語の関心を高める。
• 価値と覚醒度の両次元（VAD）を組み合わせることで、カテゴリー的モデルのみに比べ、感情制御の洗練度が向上する。
• 実験により、快適さ（価値）と覚醒度の両方が、人間の物語満足度に独立して影響することが確認され、二次元感情モデルの妥当性が裏付けられた。
• COMETから得た500以上の独自の感情反応を用いた試みは、訓練例が不足したために失敗した。これは、ゼロショットまたは少数ショットの感情マッピングに限界があることを示唆している。
• カテゴリー的感情モデル（例：5つのカテゴリーを持つNRC AIL）は、感情に配慮した物語生成において実用的であるが、次元的モデルに比べ表現力に劣る。
• エンティティ追跡と、プロップ理論やセンターイング理論に基づく構造的物語枠組みを用いることで、物語の一貫性と感情の進行が最もよく維持される。