[論文レビュー] Towards Persona-Based Empathetic Conversational Models

Peixiang Zhong, Chen Zhang+3 more|arXiv (Cornell University)|Apr 26, 2020

Persona Design and Applications参考文献 42被引用数 10

ひとこと要約

本稿では、大規模で多分野にわたる、パーソナに基づく共感的会話データセットPECを紹介するとともに、マルチホップ共注意力を備えたBERTベースの応答選択モデルCoBERTを提案し、最先端の性能を達成した。主な貢献は、パーソナが共感的応答を顕著に向上させることを、最初の実証的検証によって示したことである。特に、共感的会話データで訓練されたモデルにおいて顕著であり、人間らしい対話システムにおけるパーソナと共感の間の測定可能な関連性を確立した。

ABSTRACT

Empathetic conversational models have been shown to improve user satisfaction and task outcomes in numerous domains. In Psychology, persona has been shown to be highly correlated to personality, which in turn influences empathy. In addition, our empirical analysis also suggests that persona plays an important role in empathetic conversations. To this end, we propose a new task towards persona-based empathetic conversations and present the first empirical study on the impact of persona on empathetic responding. Specifically, we first present a novel large-scale multi-domain dataset for persona-based empathetic conversations. We then propose CoBERT, an efficient BERT-based response selection model that obtains the state-of-the-art performance on our dataset. Finally, we conduct extensive experiments to investigate the impact of persona on empathetic responding. Notably, our results show that persona improves empathetic responding more when CoBERT is trained on empathetic conversations than non-empathetic ones, establishing an empirical link between persona and empathy in human conversations.

研究の動機と目的

• 会話型AIにおけるパーソナが共感的応答に与える影響を調査すること。
• パーソナと共感の両方を組み合わせた大規模で多分野にわたるデータセットの不足を解消すること。
• パーソナを活用して共感的応答生成に効果的かつ効率的な応答選択モデルを開発すること。
• パーソナが共感的訓練環境下で非共感的訓練環境下よりも、共感的応答をより顕著に向上させるかどうかを実証的に検証すること。

提案手法

• Redditから収集した大規模で、複数ターン、多分野にわたるデータセットPECを提案。会話の発話者にパーソナと共感的応答をアノテート済み。
• 文脈、パーソナ、候補応答の間のより深い文脈的・相互的マッチングを捉えるために、マルチホップ共注意力を用いたBERTベースの応答選択モデルCoBERTを設計。
• 文脈、パーソナ、応答表現間で関連情報を動的に注目できる共注意力メカニズムを採用。
• 対照学習の目的関数を用いて、PECデータセット上でCoBERTをエンドツーエンドで訓練し、応答選択を最適化。
• 検証セットとテストセットの両方で、R@1、R@5、R@10といった標準的な指標を用いてモデル性能を評価。
• アブレーションスタディと一般化分析を実施し、パーソナ長の影響と、未知の発話者に対するモデルの頑健性を評価。

実験結果

リサーチクエスチョン

• RQ1 パーソナを統合することで、会話モデルにおける共感的応答の質はどのように変化するか？
• RQ2 モデルが共感的会話データで訓練されているか否かにかかわらず、パーソナの有効性が共感的応答の向上に与える影響は異なるか？
• RQ3 トレーニング時に見られなかった新しいパーソナに、モデルはどの程度一般化できるか？
• RQ4 パーソナ文の数が、モデル性能、推論時間、メモリ使用量に与える影響はどの程度か？
• RQ5 パーソナは、共感的応答の感情的トーンと適切さをどのように規定しているか？

主な発見

• CoBERTはPECデータセット上で最先端の性能を達成し、Poly-encoderや他のBERT変種モデルを上回った。10個のパーソナ文を使用した検証セットではR@1が46.2%を記録した。
• モデルが共感的会話データで訓練されている場合に、パーソナが共感的応答をより顕著に向上させることが示され、パーソナと共感の間の強い実証的関連性が裏付けられた。
• 未知のパーソナに対しても妥当な一般化性能を示し、新規発話者を含むテスト例ではR@1が43.2%を達成した。これは、分布外のパーソナに対しても頑健であることを示している。
• パーソナ文の数が増えるほど性能は向上するが、BERTの自己注意機構のため、メモリ使用量は平方的に増加する。その結果、nP=10が性能とメモリ使用量の最適なバランスであると判明した。
• 事例研究により、同じ文脈に対し、異なるパーソナが異なる共感的応答を生み出すことが確認され、パーソナが感情的トーンと関連性に直接的な影響を与えていることが示された。
• パーソナを含めることで、応答選択性能が一貫して向上し、ゼロパーソナと10パーソナ文の比較でR@1が5.9%の絶対的増加を示した。