[論文レビュー] Emily: Developing An Emotion-affective Open-Domain Chatbot with Knowledge Graph-based Persona

Weixuan Wang, Xiaoling Cai+5 more|arXiv (Cornell University)|Sep 18, 2021

Topic Modeling参考文献 28被引用数 4

ひとこと要約

本論文では、ユーザーのネガティブな感情を検出すると共に、望ましい感情状態の遷移を捉えたデータを用いて微調整された対話モデルに基づき、共感的で気分を高める返答を生成する感情的・感情的反応型オープンドメインチャットボット「Emily」を提示する。性格の一貫性は、パーソナ関連の質問に対して知識グラフベースの質問応答（KGQA）システムを用いることで確保され、発話分類精度が99.5%、パーソナQAのヒット@1が97.78%に達した。

ABSTRACT

In this paper, we describe approaches for developing Emily, an emotion-affective open-domain chatbot. Emily can perceive a user's negative emotion state and offer supports by positively converting the user's emotion states. This is done by finetuning a pretrained dialogue model upon data capturing dialogue contexts and desirable emotion states transition across turns. Emily can differentiate a general open-domain dialogue utterance with questions relating to personal information. By leveraging a question-answering approach based on knowledge graphs to handle personal information, Emily maintains personality consistency. We evaluate Emily against a few state-of-the-art open-domain chatbots and show the effects of the proposed approaches in emotion affecting and addressing personality inconsistency.

研究の動機と目的

• オープンドメイン対話においてユーザーの感情状態を認識し、それを肯定的に影響できる能力を持つチャットボットの開発。
• パーソナ関連の質問と生成応答を分離することで、オープンドメインチャットボットにおける性格の一貫性を改善すること。
• パーソナ情報に関する質問に対して正確かつ一貫した応答を提供するリtrievalベースの知識グラフ質問応答（KGQA）システムの設計。
• 最先端のオープンドメインチャットボットと比較して、Emilyの感情調節および性格一貫性の有効性を評価すること。

提案手法

• Twitterおよび共感的対話データから得られたユーザーの感情状態（ポジティブ、ニュートラル、ネガティブ）をラベル付けしたデータセットを用いて、事前学習済み対話モデル（DialoGPT）を微調整した。
• RoBERTaベースの発話分類器を用い、パーソナ関連の質問を識別する。一般質問と区別する際の精度は99.5%に達した。
• 感情状態をネガティブからポジティブへと変化させるような応答を生成する感情的反応モジュールを設計。望ましい感情状態遷移を伴う対話文脈を学習データとして用いた。
• 知識グラフ（KG）埋め込みに基づくQAシステム（Embedded KGQA）を構築し、パーソナおよび有名人関連の質問に対する回答を取得。評価指標としてヒット@1、ヒット@3、ヒット@10を用いた。
• 世界的な有名人に関する知識グラフを統合し、パブリックフィギュアに関する応答を支援することで、事実に基づいた応答性を向上させた。
• 複数段階のパイプラインを採用：発話分類 → 質問の種別に応じて感情的反応生成モジュールまたはKGQAリトリーブモジュールにルーティング。

実験結果

リサーチクエスチョン

• RQ1 微調整された対話モデルは、オープンドメイン対話においてユーザーの感情状態を肯定的に影響する応答を効果的に生成できるか？
• RQ2 オープンドメインチャットボットがパーソナ情報関連の質問を処理する際、性格の一貫性をどのように維持できるか？
• RQ3 知識グラフベースのQAシステムは、生成モデルに比べて、パーソナ関連の質問に対してどれほど優れた性能を示すか？
• RQ4 生成応答とリtrievalベースのQAを組み合わせたハイブリッドアプローチは、感情的反応性と事実的一致性の両方を向上させることができるか？

主な発見

• 発話分類器は、パーソナ関連の質問と一般質問を区別する際、99.5%の精度を達成し、適切なモジュールへのルーティングを可能にした。
• 感情的反応モジュールは、感情状態の遷移モデリングによる検証を通じて、ユーザーの感情状態をネガティブからポジティブへと効果的に変化させる応答を生成した。
• Embedded KGQAシステムは、パーソナ関連の質問においてヒット@1が0.9778に達し、知識グラフからの正答の取得精度が非常に高いことを示した。
• モデルは、パーソナ情報と生成応答との間の乖離を顕著に低減させ、性格の一貫性が著しく向上した。
• 定性的および定量的評価を通じて、Emilyは複数の最先端のオープンドメインチャットボットを上回り、感情調節および一貫性の両面で優れた性能を示した。
• パーソナおよび有名人情報のための知識グラフの統合により、事実の正確性が向上し、応答の虚構（ホールーシュネーション）が低減した。