[論文レビュー] A Multi-Turn Emotionally Engaging Dialog Model

Yubo Xie, Ekaterina Svikhnushina+1 more|arXiv (Cornell University)|Aug 15, 2019

Speech and dialogue systems参考文献 53被引用数 12

ひとこと要約

本稿では、階層的RNNと統合された感情追跡機構を備えたMEEDを提案する。このモデルは、データから直接感情的相互作用を学習し、一連の会話において、パープレキシティおよび人間評価の両面で、ベースラインのseq2seqおよびHRANモデルを上回る、感情的に適切で文脈に配慮した応答を生成する。

ABSTRACT

Open-domain dialog systems (also known as chatbots) have increasingly drawn attention in natural language processing. Some of the recent work aims at incorporating affect information into sequence-to-sequence neural dialog modeling, making the response emotionally richer, while others use hand-crafted rules to determine the desired emotion response. However, they do not explicitly learn the subtle emotional interactions captured in human dialogs. In this paper, we propose a multi-turn dialog system aimed at learning and generating emotional responses that so far only humans know how to do. Compared with two baseline models, offline experiments show that our method performs the best in perplexity scores. Further human evaluations confirm that our chatbot can keep track of the conversation context and generate emotionally more appropriate responses while performing equally well on grammar.

研究の動機と目的

• 手動で作成されたルールに依存せずに、会話の微妙な感情的相互作用を捉えるデータ駆動型でエンドツーエンドの対話システムを開発すること。
• 複数回の会話の各ターンにわたる感情的文脈を明示的にモデル化することで、多ターン対話生成を改善し、感情的な一貫性と関与度を高めること。
• 訓練および評価に適した感情知能を持つチャットボットのためのバランスの取れた多ターン対話データセットを構築すること。
• 文脈的に適切で感情的にバランスの取れた対話を使用することで、客観性と関連性を保証する人間評価プロトコルを設計すること。
• データから感情的ダイナミクスを学習することで、ルールベースや一般的なseq2seqアプローチよりも自然で滑らかで感情的に適切な応答が得られることを示すこと。

提案手法

• モデルは、複数回の会話履歴を符号化するために階層的RNNアーキテクチャを用い、各ターンにおける意味的および感情的文脈を捉える。
• 各発話からの感情状態を処理・追跡するための追加の感情RNNを導入し、生データから感情の遷移を学習する。
• LIWC辞書を用いてVAD（価値、覚醒、優位性）ベクトルから感情表現を導出し、連続的 emotions モデリングを可能にする。
• デコーダーを、履歴発話と学習された感情状態の両方に条件づけることで、応答生成と感情的文脈の追跡を同時に学習する。
• コールバーン映画の字幕データで事前学習し、その後DailyDialogデータセットで微調整することで、感情に配慮した自然な雑談のような応答を学習可能にする。
• このフレームワークは、Transformerベースのアーキテクチャや事前学習言語モデルへも拡張可能であり、今後の研究でBERT/RoBERTaの導入を計画している。

実験結果

リサーチクエスチョン

• RQ1 手動で作成された感情ルールに依存せずに、データ駆動型でエンドツーエンドのモデルが、複数回の会話において感情的に適切な応答を学習できるか？
• RQ2 複数ターンにわたる感情的ダイナミクスをモデル化することで、単一ターンや一般的なseq2seqモデルと比較して、応答品質がどのように向上するか？
• RQ3 生の対話データで学習したモデルが、人間のような感情的関与と文脈追跡をどの程度再現できるか？
• RQ4 感情の適切さと滑らかさを信頼性高く評価するためには、どのように人間評価を構成すべきか？
• RQ5 階層的対話アーキテクチャに感情追跡を統合することで、パープレキシティおよび人間による応答品質評価において、測定可能な向上が得られるか？

主な発見

• MEEDは、パープレキシティの観点から、標準的なseq2seqおよびHRANベースラインモデルを上回っており、より優れた言語モデル化能力を示している。
• 人間評価の結果、MEEDは両方のベースラインと比較して、著しく感情的に適切な応答を生成していることが確認されたが、文法的品質は同等であった。
• モデルは複数ターンにわたる感情的文脈を効果的に追跡し、会話の進行に伴い変化する感情的ダイナミクスを反映した応答を生成している。
• VADベクトルの使用とデータ駆動型の感情学習により、推論時に明示的な感情ラベルを必要とせずに、感情的にニュアンスのある応答を生成できるようになった。
• 文脈的に関連性があり感情的にバランスの取れた対話を使用する人間評価プロトコルにより、評価者のバイアスが低減され、結果の信頼性が向上した。
• 大規模な映画字幕データで事前学習し、DailyDialogで微調整することで、自然で魅力的で感情的に一貫性のある応答を生成する能力が向上した。