[論文レビュー] Neural Generation Meets Real People: Towards Emotionally Engaging Mixed-Initiative Conversations

Ashwin Paranjape, Abigail See+8 more|arXiv (Cornell University)|Aug 27, 2020

AI in Service Interactions参考文献 27被引用数 25

ひとこと要約

この論文では、神経的生成を活用して現実のユーザーと感情的で入り交じった、混合主導型の会話が可能なオープンドメインのソーシャルボット、Chirpy Cardinalを提示する。世界知識の統合、共感的な応答生成、ユーザー主導の会話支援を、モジュラーな応答生成モジュールを通じて実現することで、システムは平均会話時間2分16秒、2019年アレクサ・プライズコンペティションにおける最終平均評価4.0/5.0を達成した。

ABSTRACT

We present Chirpy Cardinal, an open-domain dialogue agent, as a research platform for the 2019 Alexa Prize competition. Building an open-domain socialbot that talks to real people is challenging - such a system must meet multiple user expectations such as broad world knowledge, conversational style, and emotional connection. Our socialbot engages users on their terms - prioritizing their interests, feelings and autonomy. As a result, our socialbot provides a responsive, personalized user experience, capable of talking knowledgeably about a wide variety of topics, as well as chatting empathetically about ordinary life. Neural generation plays a key role in achieving these goals, providing the backbone for our conversational and emotional tone. At the end of the competition, Chirpy Cardinal progressed to the finals with an average rating of 3.6/5.0, a median conversation duration of 2 minutes 16 seconds, and a 90th percentile duration of over 12 minutes.

研究の動機と目的

• 現実のユーザーと深く、感情的でパーソナライズされた会話を可能にするオープンドメインのソーシャルボットの構築を目的とする。
• ユーザーが会話のトピックを主導できるようにすることで、会話の一貫性と関与を維持する混合主導型の会話を実現することを目的とする。
• スクリプトベースまたはボット主導の対話システムの限界を克服するため、神経的生成と記号的制約を統合することを目的とする。
• 共感的な応答生成と意見・経験の相互共有を通じて、持続的な感情的つながりを実現することを目的とする。
• 神経的生成と記号的知識、応答計画モジュールを組み合わせることで、長期的な会話品質を向上させることを目的とする。

提案手法

• 知識抽出、感情的応答、意見共有といった異なる会話的機能を担う専用の応答生成モジュール（RGs）を備えたモジュラーなアーキテクチャを採用した。
• TopicalChatデータセット上で微調整されたGPT-2モデルを用い、Wikipedia、Reddit、アレクサ知識グラフなどの外部情報源から自然な会話的言い換えを生成した。
• トピックのシフトをユーザーおよびボットの両方から検出可能とする、グローバルなナビゲーション意図分類器とエンティティトラッカーを実装した。
• トピック変更が検出された際に高優先度のRGが即座に介入できるようにする応答優先度システムを導入し、反応性と関連性を向上させた。
• 神経的生成を用いてユーザーの経験や感情に共感的に反応するためのニューラルチャットモジュールを統合し、個人的で感情豊かな会話を維持した。
• 特に長時間の会話や攻撃的対話においても一貫性と安全性を保つために、記号的制約とフォールバックメカニズムを適用した。

実験結果

リサーチクエスチョン

• RQ1 神経的生成と記号的コンponentsを効果的に統合することで、感情的で長時間にわたる混合主導型の会話をどのように実現できるか。
• RQ2 専用の応答生成モジュールが、オープンドメイン対話システムにおけるユーザーの関与と会話の深さをどのように維持するか。
• RQ3 テンプレートに依存せずに、神経的生成モデルが共感的で相互的な感情的やり取りをどの程度サポートできるか。
• RQ4 ユーザー主導型の会話がオープンドメインソーシャルボットにおける会話品質と持続時間に与える影響は何か。また、それを最も効果的に支援する設計パターンは何か。
• RQ5 現実世界のソーシャルボット相互作用において、高評価を得る主な要因は何か。また、異なる応答生成モジュールはそれらにどのように寄与しているか。

主な発見

• Chirpy Cardinalは、平均会話時間2分16秒、90百分位数の会話時間は12分を超え、継続的なユーザー関与を示した。
• システムは平均ユーザー評価3.6/5.0を獲得し、実世界での展開において高いユーザー満足度を示した。
• 一般会話に特化した応答生成モジュール（例：コロナウイルス、承認、映画、カテゴリ）は、ユーザー評価の上昇と統計的に有意な相関を示した。
• フォールバックおよび攻撃的応答生成モジュールは評価と負の相関を示しており、これらが使用されることは会話品質の低下や攻撃的行動の兆候を示している可能性がある。
• ニューラルチャットおよび意見モジュールは、感情的な親密さを高め、ボットが自身の感情を共有した後、ユーザーがより多くの個人経験を共有する傾向が見られた。
• 長時間や予期しないユーザー発話に対処する課題はあったが、興味深いトピックについてオープンエンドの質問を投げかける戦略が、ユーザー主導型の会話を妨げず、意思決定の疲労を避けるのに効果的であった。