[論文レビュー] Shaping the Narrative Arc: An Information-Theoretic Approach to Collaborative Dialogue

Kory W. Mathewson, Pablo Samuel Castro+3 more|arXiv (Cornell University)|Jan 31, 2019

Topic Modeling参考文献 51被引用数 14

ひとこと要約

本稿では、ユニバースモデルを通じた情報公開の調整により、共同対話における物語の展開を情報理論的枠組みで形状化する手法を提案する。この手法により、関与度と予測可能性が向上する。情報の公開と隠蔽のバランスを取ることで、対話品質が向上し、ユーザー研究においても次の発話予測の正確性と専門家の好みの両方が向上したことが示された。

ABSTRACT

We consider the problem of designing an artificial agent capable of interacting with humans in collaborative dialogue to produce creative, engaging narratives. In this task, the goal is to establish universe details, and to collaborate on an interesting story in that universe, through a series of natural dialogue exchanges. Our model can augment any probabilistic conversational agent by allowing it to reason about universe information established and what potential next utterances might reveal. Ideally, with each utterance, agents would reveal just enough information to add specificity and reduce ambiguity without limiting the conversation. We empirically show that our model allows control over the rate at which the agent reveals information and that doing so significantly improves accuracy in predicting the next line of dialogues from movies. We close with a case-study with four professional theatre performers, who preferred interactions with our model-augmented agent over an unaugmented agent.

研究の動機と目的

• 人間と共同対話によって魅力的で創造的物語を生成できる人工エージェントの設計を目的とする。
• オープンドメイン対話システムにおける物語の一貫性と関心の維持という課題に取り組む。
• 物語の展開を、対話における情報公開の動的変化として形式化することを目的とする。
• 情報開示の速度を制御することで、明確さと曖昧さのバランスを取ることを可能とする。
• 実証的評価および専門家によるユーザー調査を通じて、このアプローチの有効性を検証することを目的とする。

提案手法

• 会話モデルと、物語世界に関する共有知識を追跡するユニバースモデルを組み合わせた手法である。
• ユニバースモデルは、発話の情報含量に基づいて分類し、新規詳細の追加（公開）と曖昧さの保持（隠蔽）を区別する。
• 物語の展開は、時間経過に伴う情報公開の確率分布の変化として形式化され、シャノンのエントロピーとフォンネーグットの物語形状にインspiredされている。
• 情報公開と整合性の両方をバランスさせるスコア関数を用いて、対話候補をサンプリングおよびスコア付けする。
• 本手法は、下位の会話モデルに依存しないため、リtrievalベースや生成モデルと統合可能である。
• 確率的分類器を用いて、ジャンル、トピック、絵文字などの進化する物語要素を追跡し、動的な物語形状の制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 対話における情報開示速度の制御が、物語の関与度と整合性を向上させることができるか？
• RQ2 映画台本における次発話予測の正確性に、情報開示の調整がどのように影響するか？
• RQ3 情報理論を用いて形式化された物語の展開が、共同対話の質を向上させることができるか？
• RQ4 人間参加者が、物語の展開を形状化するエージェントとの対話と、ベースラインエージェントとの対話のどちらを好むか？
• RQ5 ユニバースモデルは、対話生成の明確さと一貫性をどの程度向上させることができるか？

主な発見

• 情報開示速度の制御により、映画台本データセット上での次の発話予測の正確性が著しく向上した。
• 4名のプロの演劇俳優を対象としたユーザー調査では、物語の展開を補強したエージェントが生成した対話が、ベースラインエージェントよりも強く好まれた。
• 物語の展開フレームワークは、明確さと曖昧さのバランスをうまく取っており、過剰な詳細化や極端な曖昧さを回避した。
• 本手法は、トピック、ジャンル、絵文字に基づくさまざまなタイプのユニバースモデルに対して効果を示した。
• 本手法は、さまざまな会話モデルと互換性があり、汎用性とモularityの両方を示した。
• 実証的結果から、開示度パラメータのチューニングにより、物語のペースと関与度を細かく制御できることを確認した。