[論文レビュー] Generating Persona-Consistent Dialogue Responses Using Deep Reinforcement Learning

Mohsen Mesgar, Edwin Simpson+2 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 21被引用数 6

ひとこと要約

本稿では、トランスフォーマーに基づく対話エージェントのパーソナ一貫応答生成のための、参照に依存しないアクターシステム・クリティック強化学習フレームワークを提案する。対話履歴とパーソナ事実に基づく新しい報酬関数を定義することで、パーソナ一貫性、トピック一貫性、および流暢さを測定し、PERSONACHATデータセット上で自動評価および人的評価の両方で、教師ありベースラインと比較して顕著に高いパーソナ一貫性を達成した。

ABSTRACT

Recent transformer-based open-domain dialogue agents are trained by reference responses in a fully supervised scenario. Such agents often display inconsistent personalities as training data potentially contain contradictory responses to identical input utterances and no persona-relevant criteria are used in their training losses. We propose a novel approach to train transformer-based dialogue agents using actor-critic reinforcement learning. We define a new reward function to assess generated responses in terms of persona consistency, topic consistency, and fluency. Our reference-agnostic reward relies only on a dialogue history and a persona defined by a list of facts. Automatic and human evaluations on the PERSONACHAT dataset show that our proposed approach increases the rate of persona-consistent responses compared with its peers that are trained in a fully supervised scenario using reference responses.

研究の動機と目的

• 教師あり学習によって訓練されたトランスフォーマー基盤の対話エージェントにおける、一貫性の欠如するパーソナ表現の問題に対処すること。
• 訓練中に参照応答に依存しないように、参照に依存しない訓練フレームワークを構築することで、依存を排除すること。
• 対話履歴とパーソナ事実にのみ基づく報酬関数を通じて、生成応答のパーソナ一貫性を向上させること。
• PERSONACHATデータセットを用いた自動指標と人的アノテーションを用いて、提案手法の有効性を評価すること。

提案手法

• トランスフォーマー基盤の対話方策を訓練するため、アクターシステム・クリティック強化学習フレームワークを採用する。
• 対話履歴とパーソナ事実のみを用いて、パーソナ一貫性、トピック一貫性、および流暢さに基づいて応答を評価する、新しい報酬関数を設計する。
• 参照応答を必要とせず、定義された報酬信号を最適化するため、ポリシー勾配法を用いてポリシーをエンドツーエンドで訓練する。
• 生成応答と与えられたパーソナ事実との整合性を、埋め込み類似度またはマッチングメカニズムによって計算することで、パーソナ一貫性を定義する。
• 対話履歴における連続する発話間の整合性を測定することで、トピック一貫性を確保する。
• 報酬関数に統合された標準的な言語モデリング目的を通じて、流暢さを維持する。

実験結果

リサーチクエスチョン

• RQ1 参照に依存しない強化学習アプローチは、教師あり微調整と比較して、オープンドメイン対話システムにおけるパーソナ一貫性を向上させることができるか？
• RQ2 対話履歴とパーソナ事実にのみ基づく報酬関数は、一貫したパーソナ表現の促進にどの程度効果的か？
• RQ3 人的評価において、提案手法は教師ありベースラインをどの程度上回るパーソナ一貫性を達成するか？
• RQ4 提案手法は、パーソナ適合性の向上を図る一方で、流暢さとトピック一貫性を維持または向上させるか？

主な発見

• 提案された強化学習アプローチは、PERSONACHATデータセット上で教師ありベースラインと比較して、より高いパーソナ一貫応答率を達成した。
• 人的評価により、モデルが与えられたパーソナにより整合性のある応答を生成することが確認された。
• 自動評価の結果、参照応答に依存せずにパーソナ一貫性指標が顕著に向上した。
• モデルは流暢さとトピック一貫性においても優れたパフォーマンスを維持しており、応答品質の低下がないことが示された。
• 報酬関数は、文脈的に関連性があり、かつパーソナ一貫性のある応答を生成するようにポリシーを効果的に導くことができた。
• 多様なパーソナプロファイルにわたり、モデルは一般化が良く、一貫したパーソナ特性を維持する強靭性を示した。