[論文レビュー] Reinforcement Learning Based Emotional Editing Constraint Conversation Generation

Jia Li, Xiao Sun+3 more|arXiv (Cornell University)|Apr 17, 2019

Topic Modeling参考文献 15被引用数 18

ひとこと要約

本稿では、感情編集制約を統合することで、よりなめらかで文脈的に適切かつ感情表現豊かな応答を生成する強化学習ベースの対話生成モデルを提案する。応答生成を3段階に分け、事前に定義されたキーワードと感情テンプレートに基づいて出力を精錬する感情エディタを用いることで、感情の関連性と一貫性が著しく向上し、自然さ、トピックの一貫性、感情の正確性の面で既存手法を上回る性能を発揮する。

ABSTRACT

In recent years, the generation of conversation content based on deep neural networks has attracted many researchers. However, traditional neural language models tend to generate general replies, lacking logical and emotional factors. This paper proposes a conversation content generation model that combines reinforcement learning with emotional editing constraints to generate more meaningful and customizable emotional replies. The model divides the replies into three clauses based on pre-generated keywords and uses the emotional editor to further optimize the final reply. The model combines multi-task learning with multiple indicator rewards to comprehensively optimize the quality of replies. Experiments shows that our model can not only improve the fluency of the replies, but also significantly enhance the logical relevance and emotional relevance of the replies.

研究の動機と目的

• 一般的で感情に乏しい応答を生成する既存のニューラル対話モデルの限界を是正すること。
• 明示的な感情編集制約を組み込むことで、生成応答の感情表現豊かさを向上させること。
• 自然さ、トピックの一貫性、感情の正確性を同時に最適化するマルチタスク学習により、応答品質を向上させること。
• 感情のトーンとコンテンツ構造をより効果的に制御できる3段階の生成プロセスを開発すること。

提案手法

• モデルは応答生成を3段階の反復的プロセスで実行する：初期応答生成、キーワードベースのテンプレート選択、感情編集による精錬。
• 感情エディタは入力トピックと望ましい感情に基づき関連する文のテンプレートを選択し、事前の知識を用いて生成された応答を最適化する。
• 自然さ、トピックの一貫性、感情の関連性を同時に最適化するため、マルチタスク報酬を用いた強化学習を適用する。
• 文脈モデリングのために、感情カテゴリーベクトルとアテンション機構を強化したseq2seqフレームワークを用いる。
• 自然さ、トピックの一貫性、感情の正確性という3つの目的を同時に最適化するマルチタスク学習の枠組みを採用する。
• 感情編集機構は、事前に特定されたキーワードと感情テンプレートを用いてスムージング、言い換え、感情の強調を実行する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク報酬を用いた強化学習は、対話生成における自然さと感情の関連性の両方を向上させ得るか？
• RQ2 感情編集ステージを組み込むことで、生成応答の品質と表現力はどのように変化するか？
• RQ3 キーワードベースのテンプレート選択は、オープンドメイン対話システムにおける感情の正確性をどの程度向上させるか？
• RQ4 3段階の生成プロセスは、標準的な自己回帰モデルと比較して、一般的で繰り返しの多い応答を減らすことができるか？
• RQ5 感情編集制約は、自然さを損なわせることなく、より一貫性があり文脈的に適切な応答を生成するのに寄与するか？

主な発見

• テストセットにおいて、提案モデルは全比較モデルの中で最小のパープレキシティ（61.4）と最大の感情正確性（86.9%）を達成した。
• SentiGAN や E-SCBA よりも自然さと感情正確性の両面で優れており、ベースラインの Seq2Seq モデルと比較して感情正確性が10.2%向上した。
• 感情エディタの導入により、パープレキシティが3.6ポイント低下し、感情正確性が9.4%向上した（編集なしモデルと比較）。
• 応答の各位置における語彙の多様性が優れており、語彙分布の可視化において色の濃度の低下が遅く、より良好な長距離一貫性と反復の減少を示している。
• 事例研究では、喜びに対して「I have never seen such a cute cake!」や、怒りに対して「Such bad weather!」といった感情豊かで文脈的に適切な応答を生成しているのに対し、他のモデルは感情に乏しい応答を生成する傾向にある。
• 事前知識（キーワードとテンプレート）の統合により、より自然でなめらかで感情的に際立った出力を得られるようになった。