[論文レビュー] SlugBot: Developing a Computational Model and Framework of a Novel Dialogue Genre

Kevin K. Bowden, Jiaqi Wu+6 more|arXiv (Cornell University)|Jan 1, 2018

Topic Modeling参考文献 36被引用数 11

ひとこと要約

本稿では、SlugBot などのソーシャルボットにおけるオープンドメインで複数回のやり取りを行う対話において、Penn Discourse TreeBank の関係（例：EXPANSION、CONTINGENCY）を用いて一貫性がありシステム主導の会話を構造化する、新しい計算フレームワーク「ディコースト・リレーション・ダイアログ・モデル（DRDM）」を紹介する。モデルはドメイン特化型の知識グラフ、UniSlug を活用したモジュラーなアーキテクチャで実装されており、高品質でトピック豊富な対話が可能となり、平均して 8 回を超える会話が維持される。

ABSTRACT

One of the most interesting aspects of the Amazon Alexa Prize competition is that the framing of the competition requires the development of new computational models of dialogue and its structure. Traditional computational models of dialogue are of two types: (1) task-oriented dialogue, supported by AI planning models,or simplified planning models consisting of frames with slots to be filled; or (2)search-oriented dialogue where every user turn is treated as a search query that may elaborate and extend current search results. Alexa Prize dialogue systems such as SlugBot must support conversational capabilities that go beyond what these traditional models can do. Moreover, while traditional dialogue systems rely on theoretical computational models, there are no existing computational theories that circumscribe the expected system and user behaviors in the intended conversational genre of the Alexa Prize Bots. This paper describes how UCSC's SlugBot team has combined the development of a novel computational theoretical model, Discourse Relation Dialogue Model, with its implementation in a modular system in order to test and refine it. We highlight how our novel dialogue model has led us to create a novel ontological resource, UniSlug, and how the structure of UniSlug determine show we curate and structure content so that our dialogue manager implements and tests our novel computational dialogue model.

研究の動機と目的

• 従来のタスク指向や検索指向のフレームワークをはるかに超える、オープンドメインで複数回のやり取りを行う対話を支援する新しい計算的対話モデルの開発。
• アレクサ・プライズの対話ジャンルに特化した理論的かつ計算的モデルの欠如に応えること。このジャンルは、継続的で魅力的かつ一貫性のあるオープンドメイン対話が求められる。
• 形式的なディコースト関係に基づいた対話の一貫性を根拠に、システム主導の対話に対応できるスケーラブルな対話システムアーキテクチャの設計。
• 多様なトピックに対応するための対話戦略選択とコンテンツ構造化を支援するドメイン特化型の知識ベース、UniSlug の構築。
• 実世界の会話環境において、ユーザーの関与を維持し、対話の一貫性を保つために、システム主導の対話戦略の有効性を評価すること。

提案手法

• Penn Discourse TreeBank に由来する 4 つの高レベルのディコースト関係（EXPANSION、COMPARISON、CONTINGENCY、TEMPORAL）を用いて、対話の一貫性をモデル化する「ディコースト・リレーション・ダイアログ・モデル（DRDM）」を提案。
• 対話管理がディコースト関係によって駆動されるモジュラーな対話システムアーキテクチャを構築し、意味的・関係的コンテンツに基づいたシステム主導の会話ターンを可能にする。
• 世界知識を表現し、ディコーストに配慮した対話戦略を支援するため、複数のスキーマソースを統合した大規模で統合されたオントロジーである UniSlug を開発。
• コンテンツをトピック固有で再利用可能な会話フローに整理するフローベースの対話管理システムを採用し、継続的で魅力的な対話を支援。
• ユーザーのフィードバックに基づいて強化学習で訓練されたリランカーを用いて、応答選択を最適化し、リアルタイムでの対話品質の向上を図る。
• 高い制御性とパーソナライゼーションを実現するテンプレートベースの生成システムを実装。一方で、seq2seq モデル（例：Transformer を搭載した Slug2Slug）の生成応答の検討も行なったが、データ不足と耐性の問題から、最終的にテンプレートベースの生成を採用した。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、従来のタスク指向や検索指向のフレームワークをはるかに超えるオープンドメインで複数回のやり取りを行う対話モデルを設計できるか？
• RQ2 システム主導の対話において、一貫性と関与を維持するために最も効果的なディコースト関係は何か？
• RQ3 大規模でドメイン特化型の知識グラフをどのように構築し、動的で一貫性のある対話戦略を支援するために活用できるか？
• RQ4 ユーザー主導やリtrieバルベースのアプローチと比較して、システム主導の対話戦略は、ユーザーの関与をどれほど長期間にわたって維持できるか、また会話の長さをどれほど向上させられるか？
• RQ5 感情状態やユーザーの幸福度をどのようにモデル化し、会話の親密さと満足度を高める形で応答できるか？

主な発見

• SlugBot のシステム主導モジュールは、平均して 8 回を超えるユーザーの応答を引き出し、ユーザー主導やリtrieバルベースの戦略を著しく上回る性能を示した。
• 42 のトピックにわたる一般会話の管理を担当するフローマネージャーは、1 通話あたり平均 8.1 回のユーザー関与を達成し、平均スコア 3.35 を記録した。これは、オープンドメイン対話の一貫性を維持する上で優れたパフォーマンスを示している。
• リtrieバルベースおよびユーザー主導の戦略は、1 つの会話あたり 1.4 回未満のユーザーの応答にとどまり、長時間の会話の維持にはあまり効果がなかった。
• キュレートされた統合オントロジーである UniSlug の使用により、ニュースや映画、テクノロジーなど多様なトピックにおいて、一貫性があり明確な内容構造を持つ対話が実現された。
• Transformer を搭載した seq2seq モデル（Slug2Slug）をトレーニングしたが、データ不足と耐性の問題から、最終的にテンプレートベースの生成を採用した。これは、エンドツーエンドの生成モデルがオープンドメイン対話において現在のところ限界に達していることを示している。
• ユーザーのフィードバックと強化学習を統合したことで、応答のランク付けが向上し、適応的でフィードバック駆動の対話ポリシーが実世界の環境でシステムのパフォーマンスを向上させられることを示唆している。