[論文レビュー] Personalizing Dialogue Agents: I have a dog, do you have pets too?

Saizheng Zhang, Emily Dinan+4 more|arXiv (Cornell University)|Jan 22, 2018

Topic Modeling参考文献 25被引用数 196

ひとこと要約

この論文は persona-conditioned チットチャットと大規模な persona-chat データセットを導入します。 memory-augmented および retrieval-based モデルは、次の発話予測のための明示的なペルソナ条件付けから恩恵を受けることを示しており、人間評価は OpenSubtitles/Twitter ベースラインよりペルソナ豊富なデータを好むことを示します。

ABSTRACT

Chit-chat models are known to have several problems: they lack specificity, do not display a consistent personality and are often not very captivating. In this work we present the task of making chit-chat more engaging by conditioning on profile information. We collect data and train models to (i) condition on their given profile information; and (ii) information about the person they are talking to, resulting in improved dialogues, as measured by next utterance prediction. Since (ii) is initially unknown our model is trained to engage its partner with personal topics, and we show the resulting dialogue can be used to predict profile information about the interlocutors.

研究の動機と目的

• 構成可能なプロフィール（ペルソナ）を条件付けることで、チットチャットを個人化するタスクを導入する。
• 元のペルソナと改訂されたペルソナを用いて persona-chat データセットを作成・公開する。
• ペルソナ情報の有り/無しで次の発話予測に対して、生成モデルとランキングモデルを評価する。
• ペルソナ条件付けが次の発話予測を改善し、対話からパートナーのプロファイリングを可能にすることを示す。

提案手法

• Seq2Seq、Profile Memory Network、Key-Value Profile Memory Network、標準的なランキングベース（IR、StarSpace）の4つのモデリングパラダイムを提案する。
• エージェント自身のペルソナ、相手のペルソナ、または両方の入力を条件付け、3つのペルソナ設定（No Persona、Original Persona、Revised Persona）で評価する。
• 評価指標として perplexity (ppl)、hits@1、次発話分類の F1様の損失を使用する。
• 162,064 発話を含む大規模クラウドソーシングデータセット（persona-chat）を10,907対話で作成。各参加者にペルソナを与える。
• memory-augmented アーキテクチャを用いてペルソナ文に対して、必要に応じて対話履歴のキー/バリューにも attend し、応答選択に影響を与える。
• オープンソースコードと ParlAI 統合を提供して再現性を高める。

実験結果

リサーチクエスチョン

• RQ1 明示的なペルソナ情報で対話エージェントを条件付けることは、ペルソナなしベースラインと比較して次の発話予測を改善するか？
• RQ2 相手のペルソナを条件付けることは対話の質やプロフィール情報の予測・回復能力にどのように影響するか？
• RQ3 改訂ペルソナ（語彙の重複を削除したもの）は学習上の課題を大きくするか、メモリ・アテンションモデルはそれらを効果的に活用できるか？
• RQ4 生成モデルとランキングモデルは、ペルソナ情報で条件付けした場合、流暢さ・エンゲージメント・一貫性の点でどう比較されるか？

主な発見

• ペルソナ情報で条件付けることは、生成モデルとランキングモデルの両方において次の発話予測を改善する。
• ペルソナメモリへのメモリ搭載付きアテンションは、単純な連結ベースよりも良い性能をもたらし、KV-ペリソナメモリがいくつかの設定で最も大きな利得を提供する。
• ランキングモデルは、次の発話選択タスクで生成モデルよりも高い性能を示す（hits@1で評価）。
• 元の（改訂されていない）ペルソナは語彙重複のため改訂ペルソナより大きな利得を生む。一方、メモリベースモデルを用いる場合は改訂ペルソナでも利点がある。
• persona-chat データで学習したモデルは、OpenSubtitles や Twitter データで学習したモデルよりも、 human evaluation においてより魅力的で一貫した対話を生成する。
• 人間の評価者は時としてペルソナ条件付けを検出できたが、流暢さと一貫性は非ペルソナベースラインと競争力があった。