[論文レビュー] Towards Empathetic Dialogue Generation over Multi-type Knowledge.

Qintong Li, Piji Li+2 more|arXiv (Cornell University)|Sep 21, 2020

Topic Modeling参考文献 54被引用数 13

ひとこと要約

本稿では、共通知識と感情辞書を統合することで感情理解を向上させる、多様な知識に配慮したフレームワークを提案する。感情的文脈グラフを構築し、感情に配慮したエンコーダと感情クロスアテンションを用いることで、応答の関連性と感情の一貫性が向上し、自動評価および人間評価の両方の指標で最先端の手法を上回る性能を発揮する。

ABSTRACT

Enabling the machines with empathetic abilities to provide context-consistent responses is crucial on both semantic and emotional levels. The task of empathetic dialogue generation is proposed to address this problem. However, lacking external knowledge makes it difficult to perceive implicit emotions from limited dialogue history. To address the above challenges, we propose to leverage multi-type knowledge, i.e, the commonsense knowledge and emotional lexicon, to explicitly understand and express emotions in empathetic dialogue generation. We first enrich the dialogue history by jointly interacting with two-type knowledge and construct an emotional context graph. Then we introduce a multi-type knowledge-aware context encoder to learn emotional context representations and distill emotional signals, which are the prerequisites to predicate emotions expressed in responses. Finally, we propose an emotional cross-attention mechanism to exploit the emotional dependencies between the emotional context graph and the target empathetic response. Conducted on a benchmark dataset, extensive experimental results show that our proposed framework outperforms state-of-the-art baselines in terms of automatic metrics and human evaluations.

研究の動機と目的

• 外部知識を活用することで、対話システムにおける感情的に一貫した応答を生成する課題に取り組む。
• 対話履歴が限られたり曖昧であったりする状況でも、応答生成における感情的認識を向上させる。
• 共通知識と感情辞書の両方を用いて、感情的文脈を明示的にモデル化する。
• 対話履歴とターゲット応答の間の感情的依存関係を捉えるフレームワークを開発する。
• 感情的文脈表現の共同学習と感情信号の蒸留を通じて、応答の質を向上させる。

提案手法

• 共通知識と感情辞書を統合的に相互作用させることで、統一された感情的文脈グラフを構築する。
• 豊富な履歴から文脈表現を学び、感情信号を抽出する多様な知識に配慮したコンテキストエンコーダを設計する。
• 感情的文脈グラフとターゲット応答の間の依存関係をモデル化する感情クロスアテンション機構を導入する。
• 感情的文脈を注目するアテンションを用いた、エンコーダー・デコーダー型のシーケンス・トゥ・シーケンスフレームワークで、モデルをエンド・ツー・エンドに訓練する。
• 動的に感情的に顕著な知識および対話履歴の要素に注目できるアテンション機構を活用する。
• 知識埋め込みと発話表現を統合し、文脈的かつ感情的に根拠のある応答を生成する。

実験結果

リサーチクエスチョン

• RQ1 多様な知識（共通知識と感情辞書）を統合することで、共感的対話生成における感情理解はどの程度向上するか？
• RQ2 異なる知識タイプを統合的に扱うことで、応答の関連性と感情の一貫性はどの程度向上するか？
• RQ3 感情的文脈グラフは、対話履歴に内蔵された非明示的な感情状態を効果的に表現できるか？
• RQ4 感情クロスアテンションは、履歴と応答の間の感情的依存関係をどのように改善するか？
• RQ5 感情信号の統合により、自動評価および人間評価の指標に測定可能な改善が見られるか？

主な発見

• 提案手法は、ベンチマークデータセットにおいて、最先端のベースラインと比較して自動評価指標で優れた性能を達成した。
• 人間評価の結果、本手法はより感情的に一貫性があり、文脈的に適切な応答を生成することが確認された。
• 共通知識と感情辞書の両方の統合により、感情信号の蒸留と文脈表現がより良好になった。
• 感情クロスアテンション機構は、対話履歴と生成された応答の間の感情的依存関係を効果的に捉えることができた。
• 対話履歴が短い、もしくは感情的に曖昧な状況でも、本モデルは応答の質が向上した。
• アブレーションスタディの結果、知識タイプのいずれかを削除する、もしくは感情クロスアテンション機構を除去すると、性能が低下した。