[論文レビュー] CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning

Jiun-Hao Jhan, Chao-Peng Liu+2 more|arXiv (Cornell University)|Oct 8, 2021

AI in Service Interactions参考文献 27被引用数 8

ひとこと要約

CheerBotsは、将来のユーザーの感情状態の変化を概念的ヒューマンモデル（CHM）でモデル化することで、肯定的な感情の価値を強化する強化学習フレームワークを導入した。この手法は、自動評価指標および人間評価においてベースラインを上回り、検索ベースおよび生成ベースのモデルにおける深層強化学習のファインチューニングを通じて、EmpatheticDialoguesデータセットで最先端の性能を達成した。

ABSTRACT

Apart from the coherence and fluency of responses, an empathetic chatbot emphasizes more on people's feelings. By considering altruistic behaviors between human interaction, empathetic chatbots enable people to get a better interactive and supportive experience. This study presents a framework whereby several empathetic chatbots are based on understanding users' implied feelings and replying empathetically for multiple dialogue turns. We call these chatbots CheerBots. CheerBots can be retrieval-based or generative-based and were finetuned by deep reinforcement learning. To respond in an empathetic way, we develop a simulating agent, a Conceptual Human Model, as aids for CheerBots in training with considerations on changes in user's emotional states in the future to arouse sympathy. Finally, automatic metrics and human rating results demonstrate that CheerBots outperform other baseline chatbots and achieves reciprocal altruism. The code and the pre-trained models will be made available.

研究の動機と目的

• ユーザーの示唆的な感情状態に応じて、一貫性や流暢さを越えて反応する共感的チャットボットを開発すること。
• 既存の共感的チャットボットが対話における利他的行動や将来の感情状態の変化をモデル化できないという限界を解決すること。
• 検索ベースおよび生成ベースのチャットボットを、深層強化学習を用いて共感の強化を最適化するように訓練すること。
• 自動評価指標および人間の好みの評価を用いて、フレームワークの有効性を評価すること。
• チャットボットが感情を認識するだけでなく、時間経過とともにユーザーの感情状態を改善する応答を生成することを保証すること。

提案手法

• 将来のユーザーの感情状態の変化を予測するためのシミュレーティングエージェントとしての概念的ヒューマンモデル（CHM）を導入し、チャットボットが利他的に予測して応答できるようにする。
• 感情コントローラーは、入力文脈に基づいてユーザーの次の感情状態を検出・予測する。これは強化学習でファインチューニングされた感情予測器を用いる。
• 応答ジェネレーターは、予測された感情を条件として、検索またはシーケンス生成のいずれかを用いて共感的な応答を生成する。
• 共感の価値は、発話者と聞き手の間の感情状態の変化として定義され、肯定的なシフトを強化するために深層強化学習で最適化される。
• 発話者・聞き手アーキテクチャを採用し、それぞれに明確な目的を設定する：CheerBot（聞き手）は共感の価値を向上させることを目的とし、CHMはユーザーの応答ダイナミクスをシミュレートする。
• 報酬関数は、確率推定ではなくフィードバックによって測定されるユーザー感情の改善を優先する強化学習を適用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習で訓練されたチャットボットは、ユーザーの将来の感情状態の変化を予測することで、より高い共感性を達成できるか？
• RQ2 概念的ヒューマンモデルを通じて相互的な利他的行動をモデル化することで、チャットボットの応答の共感的質はどのように向上するか？
• RQ3 検索ベースおよび生成ベースのCheerBotsは、自動評価指標および人間評価において、ベースラインモデルを上回るか？
• RQ4 深層強化学習のファインチューニングは、チャットボットがユーザーの感情状態を改善する応答を生成する能力をどの程度向上させるか？
• RQ5 共感の強化メカニズムは、多様な感情的文脈や会話のターンにわたり、頑健に機能するか？

主な発見

• DQN-Finetuned検索モデルは、すべての他のモデルと比較して、ペairwise t検定のp値が0.05未満であり、統計的に有意な最高の人間評価スコアを達成した。
• 人間のレーティングでは、DQN-Finetuned検索モデルの応答が最も共感的であると評価され、参加者の半数が他のモデルよりもこれを選択した。
• PG-EmoPrepend生成モデルは、正解に最も近いBLEUスコアを示し、応答の流暢さと関連性の高さを示した。
• 深層強化学習でファインチューニングされたモデルは、自動評価指標および人間評価の両方で非RLベースラインを顕著に上回り、共感性の向上が確認された。
• 人間の好みにおいて、検索ベースのCheerBotsは生成ベースのモデルを一貫して上回り、検索手法が共感的意図をより効果的に保持している可能性を示唆した。
• フレームワークは、強化学習とCHMシミュレーションを通じた共感の価値最適化により、EmpatheticDialoguesデータセットで最先端の性能を達成した。