[論文レビュー] HappyBot: Generating Empathetic Dialogue Responses by Improving User Experience Look-ahead

Jamin Shin, Peng Xu+2 more|arXiv (Cornell University)|Jun 20, 2019

Topic Modeling参考文献 31被引用数 42

ひとこと要約

本論文では、ユーザーの感情反応を事前に予測する「感情の先行予測（user sentiment look-ahead）」を用いて、共感的な応答生成を向上させるニューラル対話モデルであるHappyBotを提案する。感情予測モデルを訓練し、その予測結果を強化学習の報酬として用いることで、HappyBotはより共感的で関連性があり、滑らかな応答を生成する。人的評価において、ベースラインを上回る性能を示した。

ABSTRACT

Recent neural conversation models that attempted to incorporate emotion and generate empathetic responses either focused on conditioning the output to a given emotion, or incorporating the current user emotional state. While these approaches have been successful to some extent in generating more diverse and seemingly engaging utterances, they do not factor in how the user would feel towards the generated dialogue response. Hence, in this paper, we advocate such look-ahead of user emotion as the key to modeling and generating empathetic dialogue responses. We thus train a Sentiment Predictor to estimate the user sentiment look-ahead towards the generated system responses, which is then used as the reward function for generating more empathetic responses. Human evaluation results show that our model outperforms other baselines in empathy, relevance, and fluency.

研究の動機と目的

• 既存の共感的対話モデルが、生成された応答に対するユーザーの感情的反応を予測できないという限界を解決すること。
• 現在の感情状態に反応するのではなく、応答の感情的影響を事前にモデル化することで、ユーザー体験を向上させること。
• 応答が文脈的に関連性があり、流暢であるだけでなく、感情的に支援的で共感的であるようにする手法を開発すること。
• 感情の先行予測を報酬信号として用いることの有効性を、共感的対話システムの訓練において評価すること。

提案手法

• ユーザーの応答受領後の感情状態（感情の先行予測）を推定する感情予測モデルを訓練する。
• 予測された感情状態を強化学習における報酬信号として用い、応答生成を最適化する。
• 感情の先行予測報酬を、系列対系列の対話生成フレームワークに統合する。
• 感情の先行予測を主な目的とする報酬として用い、方策勾配法を用いて応答生成器をファインチューニングする。
• 応答生成器および感情予測モデルの両方の基盤として、事前学習済み言語モデルを活用する。
• モデルが文脈的に関連性があり、かつユーザーに対して感情的に有益な応答を生成することを保証する。

実験結果

リサーチクエスチョン

• RQ1 感情の先行予測を予測することで、生成された対話応答の共感性が向上するか？
• RQ2 ユーザー感情の予測を組み込むことで、ベースラインモデルと比較して応答の流暢さや関連性にどのような影響を与えるか？
• RQ3 感情の先行予測を報酬信号として用いることで、人的評価においてより感情的に支援的になる応答が得られるか？
• RQ4 現在のユーザーの感情に条件付けたり、固定された感情ラベルを使用する既存のモデルと比較して、HappyBotの性能はどのように異なるか？

主な発見

• HappyBotは、人的評価において共感性、関連性、流暢さの面で既存のベースラインを上回った。
• 感情の先行予測予測モデルは、生成された応答に対するユーザーの感情的期待を効果的に捉えた。
• 感情の先行予測を報酬として用いることで、より感情知能に富み、ユーザー中心の対話応答が得られた。
• 人的評価者は、HappyBotの応答をベースラインモデルの応答よりも顕著に共感的だと評価した。
• モデルは、流暢さや一貫性を損なわせることなく、応答品質が向上した。
• 前向きな感情的モデル化が、反応的な感情条件付けよりも共感的対話生成においてより効果的であることが示された。