[論文レビュー] Alquist: The Alexa Prize Socialbot

Jan Pichl, Petr Marek+4 more|arXiv (Cornell University)|Apr 18, 2018

Topic Modeling参考文献 24被引用数 15

ひとこと要約

Alquistは、アレクサプライズコンペティション向けのハイブリッドオープンドメイン対話システムであり、ルールベースの構造的トピック対話とニューラルエンドツーエンド応答生成を組み合わせることで、魅力的で長時間にわたる会話を維持する。トピック固有の対話に事実情報を豊富に含めることで、汎用的な雑談やQAモジュールに比べ、ユーザーの関与度と評価が向上し、平均評価（最大3.97）と会話時間の両面で優れた結果を達成している。

ABSTRACT

This paper describes a new open domain dialogue system Alquist developed as part of the Alexa Prize competition for the Amazon Echo line of products. The Alquist dialogue system is designed to conduct a coherent and engaging conversation on popular topics. We are presenting a hybrid system combining several machine learning and rule based approaches. We discuss and describe the Alquist pipeline, data acquisition, and processing, dialogue manager, NLG, knowledge aggregation and hierarchy of sub-dialogs. We present some of the experimental results.

研究の動機と目的

• 現在の話題（ニュース、スポーツ、エンタメなど）について、長時間にわたって一貫性があり、魅力的なオープンドメイン対話を維持できる会話エージェントの設計。
• 完全にルールベースのシステムの柔軟性とスケーラビリティの限界、およびエンドツーエンドニューラルモデルのデータ不足と事実の整合性の欠如という課題に対処する。
• 構造的で事実に基づいたコンテンツとトピックの遷移を対話に組み込むことで、ユーザーの関与度を向上させ、早期の会話終了を低減する。
• ユーザー評価と会話時間を主な評価指標として用い、アレクサプライズコンペティションの目標に整合したシステムの評価。
• ルールベースのトピック対話とニューラル応答生成を組み合わせたハイブリッドシステムが、現実世界のユーザーインタラクションにおいて、純粋に生成的またはルールベースのアプローチを上回ることの実証。

提案手法

• システムは、トピック固有のルールベースのサブ対話（例：映画、スポーツ、ニュース）にユーザーをルーティングするトップレベルの対話マネージャーを備えた階層的対話アーキテクチャを採用している。
• 各サブ対話は、yes/no応答の処理、エンティティ認識、'繰り返し'などの簡単なコマンドを処理する再利用可能な基本的対話から構成される。
• 意図とエンティティ検出には、複数の手法を併用：TF-IDF、ワード埋め込み（GloVe）、ロジスティック回帰、および高い精度を求めるためのマルチチャネルCNNベースのニューラルネットワーク。
• ニューラル意図分類器は300次元のGloVe埋め込みを用い、畳み込み層（メッセージ用フィルターサイズ1–5、フォーカス用1–3）、マックスプーリング、ドロップアウトとソフトマックス出力を備えた全結合層を含む。
• 応答生成は、構造的対話におけるルールベースの応答と、オープンエンドまたは逸脱した会話のためのエンドツーエンドのシーケンス・ツー・シーケンスモデルを組み合わせる。
• 各トピックのトレーニングデータはユーザーのインタラクションから収集され、ニューラル対話マネージャーのファインチューニングに使用され、トピック間での部分的相互転送が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ルールベースとニューラルアプローチを組み合わせたハイブリッドシステムは、オープンドメインソーシャルボットにおける関与度と一貫性をどのように向上させ得るか？
• RQ2 事実情報を豊富に含む構造的トピック対話は、ユーザー評価と会話時間にどのような影響を与えるか？
• RQ3 埋め込み、ロジスティック回帰、ニューラルネットワークなどの異なる意図・エンティティ検出手法は、正確性とスケーラビリティの観点でどのように比較されるか？
• RQ4 トピック固有のデータでトレーニングされたニューラル対話マネージャーは、どの程度異なるドメイン間で転送可能か？
• RQ5 クローズド・レスポンスモジュール（例：雑談、QA）は、なぜ構造的トピック対話に比べて会話が短くなるのか？

主な発見

• マルチチャネルCNNを用いたGloVe埋め込みと以前の意図への注目（attention）を組み合わせたニューラル意図分類器が、最高の正確度（92.7％）を達成した。
• 構造的トピック対話は、汎用モジュールに比べて一貫してユーザー満足度が高く、'おもしろい事実'が平均評価最高（3.972）を記録し、'ニュース'が平均会話時間最長（102秒）を記録した。
• 'ジョーク'と'ゲーム'の対話は、高い関与度（評価3.931および3.828）と中程度の会話時間（50秒および93秒）を示し、効果的なエンターテインメント価値を示した。
• 『繰り返し』や『おすすめ』といったクローズド・レスポンスモジュールは、低評価（2.429および3.575）と短い会話時間であり、単一応答のやり取り後にユーザーの関与が低下していることが示唆された。
• 'ヘルプ'と'ストップ'モジュールは低評価（3.509および3.682）であり、範囲が限定的でコンテンツが乏しいため、ユーザーがそれほど関与しにくかったと推測される。
• ハイブリッドアーキテクチャにより、各トピックごとの有効なデータ収集が可能となり、部分的相互転送が可能な段階的トレーニングによるニューラル対話マネージャーの構築が実現した。