[論文レビュー] CDL: Curriculum Dual Learning for Emotion-Controllable Response Generation

Lei Shen, Yang Feng|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 47被引用数 12

ひとこと要約

本稿では、双対学習とカリキュラム学習を用いて応答とクエリ生成モデルを交互に学習する、感情制御可能な応答生成のための新規フレームワークであるCurriculum Dual Learning（CDL）を提案する。二重報酬を用いて感情表現とコンテンツの一貫性を同時に最適化することで、強力なベースラインと比較して、応答の整合性、多様性、感情の正確性が顕著に向上し、特に安全な応答の低減に効果を発揮する。

ABSTRACT

Emotion-controllable response generation is an attractive and valuable task that aims to make open-domain conversations more empathetic and engaging. Existing methods mainly enhance the emotion expression by adding regularization terms to standard cross-entropy loss and thus influence the training process. However, due to the lack of further consideration of content consistency, the common problem of response generation tasks, safe response, is intensified. Besides, query emotions that can help model the relationship between query and response are simply ignored in previous models, which would further hurt the coherence. To alleviate these problems, we propose a novel framework named Curriculum Dual Learning (CDL) which extends the emotion-controllable response generation to a dual task to generate emotional responses and emotional queries alternatively. CDL utilizes two rewards focusing on emotion and content to improve the duality. Additionally, it applies curriculum learning to gradually generate high-quality responses based on the difficulties of expressing various emotions. Experimental results show that CDL significantly outperforms the baselines in terms of coherence, diversity, and relation to emotion factors.

研究の動機と目的

• 感情に依存するパターンへの過剰な依存によって、モデルが一般的で低品質な応答を生成する『安全な応答』問題を解消すること。
• クエリから応答、および応答からクエリへの生成の相互関係をモデル化することで、クエリと応答の間のコンテンツの一貫性を向上させること。
• 感情分類と感情語の割合をフィードバック信号として用いることで、明示的および暗黙的な感情表現を強化すること。
• 異なる感情を表現する難易度の違いを体系的に対処するため、双対学習フレームワークにカリキュラム学習を統合すること。
• 並列データへの依存を低減するため、双対学習を活用してモデルの汎化性能と学習効率を向上させること。

提案手法

• CDLは、強化学習を用いて、応答生成（クエリ→応答）とクエリ再構築（応答→クエリ）の二つのモデルを交互に学習する双対学習タスクとして感情制御可能な応答生成を定式化する。
• 二種類の報酬を用いる：感情表現用（感情分類の正確性と感情語の割合に基づく）とコンテンツ一貫性用（再構築確率）。
• 感情表現は、感情語による明示的表現と、文レベルの感情分類による暗黙的表現の両方をモデル化し、事前学習済みの感情分類器からのフィードバックを活用する。
• カリキュラム学習は、訓練の初期段階で表現が容易な感情から段階的に難易度を上げることで適用される。
• ポリシー勾配強化学習を用いて、応答の整合性と感情の正確性を高める報酬に従って、前向きおよび後向きのモデルを共同最適化する。
• ノイズが多く、品質が不均一なデータセットを活用し、訓練の初期段階では高品質で難易度の低いサンプルを優先し、徐々に難易度の高いサンプルを導入する。

実験結果

リサーチクエスチョン

• RQ1 双対学習は、感情制御可能な応答生成において、コンテンツの一貫性を向上させるとともに、安全な応答を低減できるか？
• RQ2 クエリレベルの感情情報を組み込むことで、生成された応答の整合性と感情の正確性はどのように向上するか？
• RQ3 カリキュラム学習を組み込むことで、さまざまな感情カテゴリにおいて多様で感情豊かな応答を生成する能力はどの程度向上するか？
• RQ4 双対学習とカリキュラム学習を組み合わせることで、単独で用いる場合よりも優れた性能が得られるか？
• RQ5 明示的および暗黙的な感情表現を、それぞれの報酬信号を用いて効果的にモデル化・最適化できるか？

主な発見

• 自動評価では、CDLが強力なベースラインを顕著に上回り、BLEU、ROUGE、およびdistinct-1/2スコアが向上しており、応答の多様性と流暢さが向上していることが示された。
• 人的評価では、CDLがベースラインモデルと比較して、より整合性があり、感情的に正確で、情報量が多い応答を生成していることが確認された。
• 前向きプロセスでは「Happy」感情カテゴリで81.8%、後向きプロセスでは80.8%の感情分類正確度を達成し、強い感情の一貫性を示した。
• カリキュラム学習の導入により、収束が速くなり、特に「Angry」と「Sad」のような難しい感情カテゴリでも性能が向上した。
• 双対フィードバックにより、内容に特化した感情に配慮した生成を促進することで、『Thank you』や『I don’t know』のような安全な応答の発生頻度が低下した。
• 後向き生成プロセス（応答→クエリ）では高い再構築確率を達成しており、CDLが生成した応答が元のクエリと意味的・感情的に整合していることを裏付けた。