[論文レビュー] You Impress Me: Dialogue Generation via Mutual Persona Perception

Qian Liu, Yihong Chen+5 more|arXiv (Cornell University)|Apr 11, 2020

Topic Modeling参考文献 32被引用数 20

ひとこと要約

本稿では、送信者受信者アーキテクチャを用いて対話者同士の相互パーソナ認識を明示的にモデル化する会話生成フレームワーク、$π^{2}$~{}\textsc{Bot}を提案する。自己対戦微調整において相互パーソナ認識を報酬信号として組み込むことで、Persona-Chatにおいて自動指標および人間評価の両面で、従来手法を著しく上回る最先端の性能を達成した。

ABSTRACT

Despite the continuing efforts to improve the engagingness and consistency of chit-chat dialogue systems, the majority of current work simply focus on mimicking human-like responses, leaving understudied the aspects of modeling understanding between interlocutors. The research in cognitive science, instead, suggests that understanding is an essential signal for a high-quality chit-chat conversation. Motivated by this, we propose P^2 Bot, a transmitter-receiver based framework with the aim of explicitly modeling understanding. Specifically, P^2 Bot incorporates mutual persona perception to enhance the quality of personalized dialogue generation. Experiments on a large public dataset, Persona-Chat, demonstrate the effectiveness of our approach, with a considerable boost over the state-of-the-art baselines across both automatic metrics and human evaluations.

研究の動機と目的

• パーソナライズド・チットキャッチ会話システムにおける相互理解の明示的モデリングの欠如に対処すること。
• 対話者間の相互パーソナ認識を明示的にモデル化することで、会話の魅力と一貫性を向上させること。
• パーソナ交換から得られる理解信号を活用して、パーソナライズド会話生成を強化するフレームワークを開発すること。
• 自己対戦学習における相互パーソナ認識の報酬信号としての有効性を検証すること。
• Persona-Chatデータセットにおける自動指標および人間評価の両面で、既存のベースラインを上回る性能を示すこと。

提案手法

• フレームワークは送信者受信者アーキテクチャを採用する：送信者が応答を生成し、受信者が相互パーソナ認識を評価する。
• 相互パーソナ認識は、各対話者が相手の実際のパーソナとどれだけ一致した印象を持っているかを測る信号としてモデル化される。
• 受信者は、順位付けベースの損失を用いて、会話履歴から関連するパーソナ文を予測する教師あり学習目的を用いる。
• 応答生成の最適化のために、相互パーソナ認識に基づく報酬信号を用いた自己対戦微調整が適用される。
• 送信者は、相互パーソナ認識スコアを報酬として強化学習を用いてエンドツーエンドで訓練される。
• 受信者の再表現または暗黙のパーソナを認識する能力を評価するため、1対話あたり31個のパーソナダミーを含む合成データセットが構築された。

実験結果

リサーチクエスチョン

• RQ1 相互パーソナ認識は、パーソナライズド会話生成を改善する有効な信号として機能するか？
• RQ2 パーソナが再表現されたり、暗黙的であったりする場合でも、受信モデルは会話履歴から関連するパーソナ文をどれほど正確に特定できるか？
• RQ3 相互パーソナ認識を報酬信号として組み込むことで、ベースライン手法と比較してより魅力的で一貫性のある応答が得られるか？
• RQ4 フレームワークは、会話における暗黙的または言い換えられたパーソナ参照を検出するのに一般化可能か？
• RQ5 自動指標および人間評価の両面で、本手法は最先端モデルと比較してどのように優れているか？

主な発見

• 提案された$π^{2}$~{}\textsc{Bot}フレームワークは、オリジナルモードにおける合成パーソナ認識データセットにおいて、IRベースライン比でHits@1で26.3%の絶対的改善を達成した。
• 受信者モデルは再表現パーソナに対して強く頑健であり、改訂モードでも高い性能を示し、暗黙的または言い換えられたパーソナ参照の理解が効果的に行われていることが示された。
• 人間評価では、$π^{2}$~{}\textsc{Bot}が生成する応答が、最先端のベースラインと比較して著しく魅力的で一貫性があることが確認された。
• BLEU、BLEU-4、distinct-1/2といった自動指標において、強力なベースラインと比較して一貫した改善が確認され、応答品質および多様性の向上が裏付けられた。
• 関連スコアの可視化により、受信者が会話発話と関連するプロファイル文の間の関係を正しく特定していることが確認された。例えば、「私は地域のプールでボランティアをしています」を「水の中にいるのが好きです」と結びつけて識別している。
• 相互パーソナ認識報酬を用いた自己対戦微調整により、複数の評価設定において応答品質およびパーソナの一貫性が顕著に向上した。