[論文レビュー] Alquist 2.0: Alexa Prize Socialbot Based on Sub-Dialogue Models

Jan Pichl, Petr Marek+3 more|arXiv (Cornell University)|Nov 6, 2020

Topic Modeling参考文献 17被引用数 12

ひとこと要約

Alquist 2.0 は、Alexa Prize 2018 において、トピックノードと各サブダイアログごとの分離型LSTMベースの対話管理（DM）モデルを用いたモジュラーでオントロジーに基づく対話システムを導入し、動的で文脈に配慮した、繰り返しのない会話の実現を図った。本システムは意図とトピック切り替えの検出により参加者を惹きつけ、A/Bテストで高いユーザー評価を達成した。並びに、言い換え処理とトリビアの密度低減が、ユーザー満足度を顕著に向上させることを示した。

ABSTRACT

This paper presents the second version of the dialogue system named Alquist competing in Amazon Alexa Prize 2018. We introduce a system leveraging ontology-based topic structure called topic nodes. Each of the nodes consists of several sub-dialogues, and each sub-dialogue has its own LSTM-based model for dialogue management. The sub-dialogues can be triggered according to the topic hierarchy or a user intent which allows the bot to create a unique experience during each session.

研究の動機と目的

• Alexa Prize 2018 コンペティションにおけるオープンドメイン対話において、より魅力的で繰り返しのない会話エージェントを設計すること。
• トピックノードを軸にしたモジュラーなサブダイアログ管理を用いることで、会話の整合性とユーザー参加意識を向上させること。
• 各サブダイアログごとに分離型LSTMベースの対話管理モデルを用いて、動的トピック切り替えと意図駆動の会話フローを実現すること。
• カスタムWebベースのエディタと自動モデルトレーニングパイプラインを活用し、コンテンツ作成とシステムメンテナンスを簡素化すること。
• 実ユーザーのインタラクションを対象にしたA/Bテストを通じて、言い換え処理、トリビア密度、エンティティ切り替えといった設計選択の実証的評価を行うこと。

提案手法

• システムは、トピックノードを木構造に整理し、各ノードが特定のサブトピックに焦点を当てた複数のサブダイアログを含む形で対話コンテンツを構成する。
• 各サブダイアログは、合成データおよび実ユーザーのデータでトレーニングされた、ハイブリッドコードネットワークにインspiredされたLSTMベースの対話マネージャー・モデルによって管理される。
• トピック切り替え検出器と意図分類器が、ユーザー入力と文脈に基づき次に適切なサブダイアログを選択することで、スムーズなトピック移行を実現する。
• 非技術者による貢献を可能にするカスタムWebベースのエディタにより、対話構造を設計可能であり、自動的に対話マネージャー・モデルと関連Javaコードが生成される。
• 対話履歴、エンティティ、意図アノテーションを含む文脈情報は、DynamoDBに永続的に保存され、Elasticsearchにもミラーされ、高速な取得と分析が可能になる。
• AWS Lambda と Docker化されたマイクロサービスを用いて、スケーラブルでモジュラーなデプロイを実現しており、各コンponentはCPUおよびメモリ使用率に応じて自動スケーリングされる。

実験結果

リサーチクエスチョン

• RQ1 サブダイアログ固有のモデルを備えたモジュラー対話システムは、オープンドメインソーシャルボットにおける会話の整合性向上と繰り返しの削減にどの程度寄与するか？
• RQ2 ユーザー発話の言い換え処理は、ソーシャルボットインタラクションにおける認識される参加意識とユーザー満足度をどの程度向上させるか？
• RQ3 ユーザーの関心を維持するには、連続して提示するトリビアの数は最適にどの程度か？
• RQ4 ニュースやトリビアの後、関連トピックを提示するエンティティベースのトピック切り替えは、会話の質の延長とユーザーの疲労感軽減にどの程度効果的か？
• RQ5 対話構造用のWebベースの作成ツールは、開発の負荷を顕著に低減させ、保守性を向上させることができるか？

主な発見

• ユーザー発話を言い換える処理を導入したことで、平均ユーザーフィードバックがバージョンAの3.49からバージョンBの3.53に上昇し、認識される参加意識の統計的に有意な向上が示された。
• 連続するトリビア対話の数を減らすことでユーザー評価が向上した：1つのトリビアでは3.47、2つでは3.44、3つでは3.42を記録し、密度が高いほど効果の逓減が顕著に現れた。
• エンティティ切り替え（ニュースやトリビア後に関連トピックを提案）を実施した場合、ユーザー満足度は3.51に上昇したが、比較対象の提案なしバージョン（3.55）と比べて有意差は認められなかった。
• サブダイアログモデルアーキテクチャは、bAbIタスク6において最先端のモデルを上回る性能を示し、オープンドメイン対話管理に有効であることが実証された。
• カスタムWebベースのエディタの使用により、コンテンツの迅速な反復開発が可能になり、対話システム開発およびデプロイの複雑さが低減した。
• 対話ツリー内での実ユーザーのトラフィックを可視化した結果、想定外の発話パターンや経路の逸脱が明らかとなり、モデルの的確な最適化が可能になった。