[論文レビュー] MoEL: Mixture of Empathetic Listeners

Zhaojiang Lin, Andrea Madotto+3 more|arXiv (Cornell University)|Aug 21, 2019

Topic Modeling参考文献 62被引用数 7

ひとこと要約

MoELは、特定の感情に最適化された専門的なリスナーの混合を用いて、文脈的に適切で感情的に応答する返答を生成する、新しいエンド・ツー・エンドの共感的対話システムを提案する。予測されたユーザーの感情に基づいて最も関連性の高いリスナーに動的に注目することで、ベースラインと比較して優れた共感性、流暢さ、関連性を達成し、応答生成における高い解釈可能性を実現する。

ABSTRACT

Previous research on empathetic dialogue systems has mostly focused on generating responses given certain emotions. However, being empathetic not only requires the ability of generating emotional responses, but more importantly, requires the understanding of user emotions and replying appropriately. In this paper, we propose a novel end-to-end approach for modeling empathy in dialogue systems: Mixture of Empathetic Listeners (MoEL). Our model first captures the user emotions and outputs an emotion distribution. Based on this, MoEL will softly combine the output states of the appropriate Listener(s), which are each optimized to react to certain emotions, and generate an empathetic response. Human evaluations on empathetic-dialogues (Rashkin et al., 2018) dataset confirm that MoEL outperforms multitask training baseline in terms of empathy, relevance, and fluency. Furthermore, the case study on generated responses of different Listeners shows high interpretability of our model.

研究の動機と目的

• 既存の共感的対話モデルが感情を正しく解釈できない、または固定された感情条件付けに依存するという限界を解消すること。
• ユーザーの感情理解に基づいて適切な感情的応答を選択する方法を明示的に学習するモデルを開発すること。
• 応答生成を感情別に特化したデコーダーに分離することで、応答の流暢さ、関連性、共感性を向上させること。
• 個々のリスナーの行動と注目メカニズムの分析を可能にすることで、解釈可能性を高めること。

提案手法

• モデルは、会話文脈からユーザーの感情状態を予測する感情トラッカーを用い、n 通りの感情の分布を出力する。
• n 個の特化したデコーダー（「リスナー」と呼ばれる）を採用し、それぞれが特定の感情（例：悲しむ、怒る、興奮する）に対して共感的な応答を生成するように訓練される。
• メタ・リスナーは、予測された感情分布に基づいて、これらのリスナーの隠れ状態をソフト注目メカニズムで動的に統合する。
• 最終的な応答は、メタ・リスナーによって複数のリスナーからの情報を統合することで生成され、文脈的かつ感情的に適切な返答が得られる。
• モデルは、共感的対話データセット上で最大尤度推定を用いてエンド・ツー・エンドに訓練され、感情分類と応答生成の両方を共同最適化する。
• 制御された感情入力下での個々のリスナーの応答分析により、解釈可能性が向上している。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの感情状態を理解することで、対話システムは自動的に最も適切な感情的応答を選択できるか？
• RQ2 応答生成を感情別に特化したリスナーに分離することで、統合型応答モデルと比較して共感性と応答品質がどのように向上するか？
• RQ3 モデルの内部注目メカニズムが、与えられた感情的文脈に対して正しいリスナーを正しく特定・利用できるか、その程度はいかほどか？
• RQ4 個々のリスナーは、異なる感情的応答パターンを学習しており、制御された感情入力下で期待通りに動作するのか？
• RQ5 複数の感情が1つの発話に同時に存在するような多感情的文脈において、モデルはどのように対処するか？

主な発見

• 人間による評価において、MoELはRashkinら（2018）の共感的対話データセット上で、多タスク学習ベースラインを上回り、共感性、関連性、流暢さの観点で優れた応答品質を示した。
• ケーススタディにより、個々のリスナーがターゲット感情が入力された際に感情的に適切な応答を生成することが確認され、高い解釈可能性を達成した。
• 注目分布の可視化と感情分類の正確性から、メタ・リスナーが予測された感情に基づいて正しいリスナーに注目していることが裏付けられた。
• 多感情的文脈では、MoELが複数のリスナーを同時に活用し、複数の感情（例：恐れている、不満を感じる）に対応する応答を生成し、より包括的な共感性を実現した。
• 文脈に矛盾するか曖昧な感情的サインが含まれる場合、感情分類が誤りになり、最適でないリスナー選択や、やや顕著な事実的誤り（例：代名詞の誤り）を引き起こすことがあるが、全体としての頑健性は保たれている。