[論文レビュー] I Know the Feeling: Learning to Converse with Empathy

Hannah Rashkin, Eric M. Smith+2 more|arXiv (Cornell University)|Sep 27, 2018

Topic Modeling参考文献 20被引用数 31

ひとこと要約

この論文では、25,000件の感情に基づいた会話からなるデータセットであるEmpatheticDialoguesを紹介し、共感的な対話生成のための新しいタスクを提案する。リアルタイムで感情を予測・応答するようにモデルを訓練することで、ベースラインモデルと比較して、共感性、関連性、BLEUスコアの面で向上が見られた。

ABSTRACT

Beyond understanding what is being discussed, human communication requires an awareness of what someone is feeling. One challenge for dialogue agents is being able to recognize feelings in the conversation partner and reply accordingly, a key communicative skill that is trivial for humans. Research in this area is made difficult by the paucity of large-scale publicly available datasets both for emotion and relevant dialogues. This work proposes a new task for empathetic dialogue generation and EmpatheticDialogues, a dataset of 25k conversations grounded in emotional contexts to facilitate training and evaluating dialogue systems. Our experiments indicate that models explicitly leveraging emotion predictions from previous utterances are perceived to be more empathetic by human evaluators, while improving on other metrics as well (e.g. perceived relevance of responses, BLEU scores).

研究の動機と目的

• 共感的な対話および会話的AIにおける感情認識のための、大規模かつ公開可能なデータセットの不足に対処する。
• 会話における感情状態を認識し、それに応答することを要件とする、対話システムのための新しいタスクを開発する。
• 高品質で感情に基づいたデータセットを構築し、共感的な対話モデルの訓練および評価を支援する。
• 文脈的に適切で感情的に適切な応答を生成するモデルのパフォーマンスを向上させる。

提案手法

• 25,000件の人の手による会話を、明示的な感情的文脈でアノテートして、EmpatheticDialoguesデータセットを構築する。
• 文脈的埋め込みを用いて、前回の発話における感情を予測するように対話モデルを訓練する。
• 予測された感情を条件として応答生成を行うことで、共感的な返答を生成する。
• 感情に配慮したデコードを用いて、seq2seqモデルを微調整し、応答の関連性と共感性を向上させる。
• BLEUなどの自動評価指標と人間評価を用いて、応答品質と共感性を評価する。
• 感情予測の有無に応じたモデルを比較し、感情認識の有無が応答品質に与える影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 感情に基づいた会話で訓練されたモデルは、人間の評価者からより共感的であると感じられるか？
• RQ2 直前の発話からの感情予測を組み込むことで、応答の関連性と流暢さはどのように変化するか？
• RQ3 大規模な感情アノテーション付きデータセットを用いることで、共感的な対話におけるモデルパフォーマンスはどの程度向上するか？
• RQ4 明示的に感情的文脈を利用したモデルは、自動評価および人間評価の両方の指標でベースラインモデルを上回るか？

主な発見

• 直前の発話を通じて予測された感情を活用するモデルは、人間の評価者から著しく共感的であると評価された。
• 提案手法は、BLEUスコアを含む自動評価指標を向上させ、より流暢でカバー範囲の広い応答を示した。
• モデルが会話履歴からの予測された感情状態を条件として処理することで、応答の関連性が向上した。
• EmpatheticDialoguesデータセットのおかげで、ベースラインモデルと比較して、共感的な対話生成に一貫性があり測定可能な改善が得られた。
• 人間評価では、感情に配慮したモデルが、文脈的に適切で感情に応えた応答を生成することが確認された。
• 生成パイプラインに感情予測を統合することで、応答品質を損なうことなく、共感性の認識が明確に向上した。