[論文レビュー] Generating Empathetic Responses by Looking Ahead the User's Sentiment

Jamin Shin, Peng Xu+2 more|arXiv (Cornell University)|Jun 20, 2019

Topic Modeling被引用数 9

ひとこと要約

本稿では、応答後のユーザーの将来の感情を予測・最適化することで、共感的な対話生成を向上させる強化学習フレームワーク「Sentiment Look-ahead」を提案する。応答がユーザーの感情状態に与える影響をモデル化することで、ベースラインのマルチタスク学習やsequence-to-sequenceモデルと比較して、より共感的で関連性が高く、滑らかな応答を生成する。

ABSTRACT

An important aspect of human conversation difficult for machines is conversing with empathy, which is to understand the user's emotion and respond appropriately. Recent neural conversation models that attempted to generate empathetic responses either focused on conditioning the output to a given emotion, or incorporating the current user emotional state. However, these approaches do not factor in how the user would feel towards the generated response. Hence, in this paper, we propose Sentiment Look-ahead, which is a novel perspective for empathy that models the future user emotional state. In short, Sentiment Look-ahead is a reward function under a reinforcement learning framework that provides a higher reward to the generative model when the generated utterance improves the user's sentiment. We implement and evaluate three different possible implementations of sentiment look-ahead and empirically show that our proposed approach can generate significantly more empathetic, relevant, and fluent responses than other competitive baselines such as multitask learning.

研究の動機と目的

• 既存のニューラル対話モデルが、応答の感情的影響を考慮しないことによる限界を是正すること。
• 現在のユーザー感情に依存する現在のアプローチが、ユーザーの感情を改善することを保証できないという欠陥を克服すること。
• 応答後のユーザーの将来の感情状態をモデル化することで、対話システムにおける共感の新たな視点を提示すること。
• 将来の感情を最適化することで、既存の手法と比較してより共感的で、関連性があり、滑らかな応答が生成されるかどうかを評価すること。
• 強化学習を用いた感情予測報酬関数（Sentiment Look-ahead報酬）が、感情知能を持つ応答を生成する上で有効であることを示すこと。

提案手法

• 強化学習フレームワーク内での報酬関数として「Sentiment Look-ahead」を提案し、報酬はユーザーの次の発話の予測された感情に基づく。
• 予測された次回のユーザー発話の肯定的度合いを推定するため、事前学習済みの感情分類器 $ g(\cdot) \in [0,1] $ を用い、報酬信号として使用する。
• 将来の感情を推定する方法の違いに応じて、3つのバリアント（Forward、Improvement、Simulation）を実装し、それぞれ異なる未来感情の推定方法を採用する。
• 期待される将来の感情スコアを最大化するように、方策ネットワークを強化学習で訓練する。
• 注意機構を備えたsequence-to-sequenceモデルを方策モデルとして採用し、対話履歴に条件付けられ、ポリシー勾配法により最適化される。
• 自動評価と人的評価を統合し、Seq2Seq、MultiSeq、および最先端モデルといった強力なベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端モデルと比較して、将来のユーザー感情をモデル化することは、生成された対話応答の共感性を向上させることができるか？
• RQ2 次のユーザー発話の予測された感情を最適化することは、より関連性があり、滑らかな応答を生成するか？
• RQ3 Forward、Improvement、Simulationの各バリアントにおける感情予測報酬の実装方法は、共感性、自然さ、関連性の観点でどのように性能を発揮するか？
• RQ4 感情予測報酬で訓練されたニューラル対話モデルは、人的に生成された共感的な応答とどの程度競合できるか？
• RQ5 予測された将来の感情と人的評価による共感性の判断の間に有意な相関があるか？

主な発見

• 感情予測報酬のImprovementバリアントが、複数選択式テストで共感性0.24、関連性0.26、自然さ0.12という最高の人的評価スコアを達成した。
• 人的応答とのA/Bテストでは、共感性の観点で14%のケースで優れていると選ばれたが、高い同率率（37%）を示しており、人的水準の性能が裏付けられた。
• 自動評価においてImprovementモデルは、すべての指標ですべてのベースラインを顕著に上回り、人的応答との意味的類似度が高く維持された。
• 人的評価では、Improvementモデルが最も共感的で文脈的に関連性のある応答を生成しており、否定的な経験を無視するのではなく、肯定的な記憶について尋ねるような応答が多かった。
• ForwardおよびSimulationバリアントは低い性能を示し、将来感情の推定方法がモデルの成功に顕著に影響することが示された。
• 高いFleiss’ Kappaスコア（共感性0.27、関連性0.20）は、人的評価の設定における妥当なアノテーター間一貫性を裏付けた。