[論文レビュー] Audrey: A Personalized Open-Domain Conversational Bot

Chung Hoon Hong, Yuan Liang+11 more|arXiv (Cornell University)|Nov 11, 2020

Advanced Text Analysis Techniques参考文献 17被引用数 6

ひとこと要約

Audrey は、Alexa Prize Grand Challenge 3 のために開発されたパーソナライズドなオープンドメインチャットボットであり、知識駆動型とニューラル応答生成器を組み合わせたハイブリッドアーキテクチャを活用して、情報的、個人的、関係的次元でユーザーと対話する。感情検出、パーソナリティ理解、適応型対話ポリシーを統合することで、セミファイナルでは累積平均スコア3.25（5段階中）を達成し、文脈に配慮した、興味に基づく会話によって一貫性とユーザーの関与が向上したことを示した。

ABSTRACT

Conversational Intelligence requires that a person engage on informational, personal and relational levels. Advances in Natural Language Understanding have helped recent chatbots succeed at dialog on the informational level. However, current techniques still lag for conversing with humans on a personal level and fully relating to them. The University of Michigan's submission to the Alexa Prize Grand Challenge 3, Audrey, is an open-domain conversational chat-bot that aims to engage customers on these levels through interest driven conversations guided by customers' personalities and emotions. Audrey is built from socially-aware models such as Emotion Detection and a Personal Understanding Module to grasp a deeper understanding of users' interests and desires. Our architecture interacts with customers using a hybrid approach balanced between knowledge-driven response generators and context-driven neural response generators to cater to all three levels of conversations. During the semi-finals period, we achieved an average cumulative rating of 3.25 on a 1-5 Likert scale.

研究の動機と目的

• 情報的、個人的、関係的次元において、自然で魅力的でパーソナライズされた対話を継続できる会話エージェントの開発。
• 既存のオープンドメインチャットボットがパーソナライズ性と長期的一貫性に課題を抱える問題に対処すること。
• ルールベースとニューラルベースの応答生成のバランスを取ることで、会話の質と適応性を向上させるハイブリッドアーキテクチャの設計。
• モジュラーNLPコンponentsと動的対話ポリシーを用いて、ユーザーの関心、感情、会話の流れにリアルタイムで適応すること。
• 応答生成戦略と対話管理がユーザー満足度と会話時間に与える影響の評価。

提案手法

• Amazon Conversational Bot Toolkit (CoBot) を基盤としたモジュラーでスケーラブルなアーキテクチャを採用。NLU、対話管理、応答生成の各モジュールを独立したDockerコンテナで実装。
• 感情分類、センチメント分析、およびパーソナリティ理解モジュール（PUM）を含むソーシャルアウェアモデルを統合し、ユーザーの関心や好みを推定。
• テンプレートベースとニューラルネットワークベース（例：GPT-2）の両方の応答生成を組み合わせたハイブリッド応答ジェネレータを採用。文脈と一貫性のニーズに応じて動的切り替えを実施。
• 強化学習を用いた対話ポリシー・マネージャーを導入し、トピック選択と会話トピック間の適応的移行を実現。
• A/Bテストを実施し、トレンドニュースの統合と文脈長さが応答品質と会話時間に与える影響を評価。
• AWS Lambda を活用して、Alexa Skills Kit (ASK) とのサーバーヲス統合を実現。リアルタイムかつ高可用性のデプロイを実現。

実験結果

リサーチクエスチョン

• RQ1 チャットボットは、多様なオープンドメイントピックにおいて、一貫性があり、魅力的でパーソナライズされた会話をどのように維持できるか？
• RQ2 ルールベースとニューラルベースの応答生成を組み合わせることで、ユーザー満足度と会話品質にどのような影響を与えるか？
• RQ3 ニューラル応答ジェネレータをトピックに即した文脈、または固定サイズの文脈で条件づけると、応答の一貫性とユーザー評価にどのような影響があるか？
• RQ4 トピック遷移戦略（例：トレンドニュースの使用、フォローアップテンプレートの使用）は、会話時間とユーザーのフィードバックにどの程度の影響を与えるか？
• RQ5 パーソナリティに配慮した対話システムは、オープンドメイン会話における長期的関与と自然さの認識を向上させることができるか？

主な発見

• ハイブリッド応答ジェネレータは、テンプレートベースとニューラルベースの生成の長所をバランスさせることで、会話の一貫性を著しく向上させた。
• ニューラル応答ジェネレータ（NRG）にトピックに即した文脈のみを用いた場合、平均フィードバックスコアは3.308に上昇した。固定サイズの文脈を用いた場合の3.196と比較して、応答品質が向上したことを示している。
• トレンドニュースジェネレータ（TNCG）を統合した場合、平均会話時間は224.14秒に延び、フォローアップジェネレータを用いた151.00秒と比較して延長されたが、スコアに顕著な向上は見られなかった。
• 実験から、会話時間とユーザー評価スコアの間には弱い相関関係が認められた。これは、長い会話が必ずしも高い満足度を意味しないことを示唆している。
• パーソナリティ理解モジュール（PUM）と強化学習に基づくトピック選択は、有望な結果を示したが、後期にデプロイされたため、さらなる実験的検証が必要であった。
• Audrey はセミファイナル期間中に累積平均スコア3.25（5段階中）を達成し、そのマルチレベルの関与戦略の有効性を示した。