[論文レビュー] Generating Empathetic Responses with a Large Scale Dialog Dataset.

Yubo Xie, Pearl Pu|arXiv (Cornell University)|May 14, 2021

Topic Modeling参考文献 18被引用数 4

ひとこと要約

本論文は、1発話あたり32の感情ラベルと9つの意図ラベルを備えた大規模でマルチターン対話データセットを紹介しており、感情的な反応モデルの訓練を可能にし、洗練された感情的相互作用を捉えることを可能にしている。提案されたモデルは、6,000件の人的評価済み応答においてベースラインを上回り、収集されたデータセット上でエンド・トゥ・エンド学習により、感情的関連性と文脈理解が向上していることを示している。

ABSTRACT

The task of empathetic response generation aims at generating syntactically correct and, more importantly, emotionally appropriate responses following previous dialog turns. Existing models either directly incorporate pre-defined emotion information to guide the response generation, or use deterministic rules to decide the response emotion, ignoring the subtle emotion interactions captured in human conversations. With the advent of advanced language models, it is possible to learn the nuanced emotional exchanges captured in natural language dialogs. To fully explore the range of emotions and dialog intents, it is important to curate a dataset large enough to shed light on the general understanding of human emotional interactions in our conversations. In this paper, we describe in detail the curation process of a large-scale dialog dataset where each utterance is labeled with one of 32 emotions and 9 intent categories. We then show how to build a multi-turn empathetic dialog model that performs well compared to its baselines over 6,000 human evaluated instances.

研究の動機と目的

• 既存のモデルが微細な感情的相互作用を捉えることのできない制限を是正するため、大規模でマルチ感情・マルチ意図の対話データセットを構築すること。
• 決定的ルールや事前に定義された感情ラベルに依存するのではなく、豊富な感情的および意図的アノテーションから学習する応答生成モデルの開発。
• マルチターン対話における複雑な感情的ダイナミクスをモデル化することで、共感的応答生成を改善すること。
• 人的アノテーションによる応答を用いてモデルの性能を評価し、感情的適切性と文脈的一致性を保証すること。

提案手法

• 6,000件の人的評価済み対話ターンを含む大規模な対話データセットを収集し、それぞれを32種類の感情のうちの1つと9つの意図カテゴリのうちの1つでラベル付けした。
• 文脈と感情に敏感な表現を条件として、エンド・トゥ・エンドで学習するマルチターン対話モデルを構築し、応答を生成した。
• 手作業による感情ルールに依存せず、会話ターン間の文脈的および感情的依存関係を学習するため、高度な言語モデルを採用した。
• 感情と意図の両方の情報を統合したラベル付け方式を採用し、応答生成に感情的および機能的文脈を豊かにした。
• アテンション機構を備えたシーケンス・トゥ・シーケンスモデリングを用いて、感情的文脈と応答生成を一致させた。
• 感情的適切性と自然さを保証するため、6,000件の応答インスタンスについて人的アノテーションを用いてモデルの性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された感情を使用するモデルと比較して、大規模でマルチラベルの対話データセットは、生成された応答の感情的関連性を向上させることができるか？
• RQ2 感情と意図の統合的ラベル付けは、文脈的および感情的に適切な応答を生成するモデルの能力にどのように影響するか？
• RQ3 多様な感情分布上でエンド・トゥ・エンド学習を行うことで、ルールベースまたは決定的選択に比べて、共感的応答生成の性能がどの程度向上するか？
• RQ4 モデルは、マルチターン会話における多様な対話ターンと感情的ダイナミクスにどの程度一般化できるか？

主な発見

• 提案されたモデルは、6,000件の人的評価済み応答インスタンスにおいて優れた性能を示し、ベースラインモデルよりも感情的適切性が向上していることを実証した。
• モデルは、会話ターン間で微細な感情の変遷を効果的に捉えており、静的またはルールベースの感情割り当てに依存するモデルを上回った。
• 感情と意図の統合的モデリングにより、単一の信号のみを用いるモデルと比較して、より一貫性があり文脈的に適切な応答が生成された。
• 32の感情と9つの意図を備えた大規模なデータセットのおかげで、モデルは多様な感情的および会話的状況に一般化することができた。