[論文レビュー] A Persona-Based Neural Conversation Model

Jiwei Li, Michel Galley+4 more|arXiv (Cornell University)|Mar 19, 2016

Topic Modeling参考文献 32被引用数 181

ひとこと要約

SpeakerおよびSpeaker-addresseeのペルソナ埋め込みをSeq2Seq会話モデルに導入し、一貫性と流暢さを向上。オープンドメインのTwitterおよびTVシリーズ対話データで混乱度(perplexity)とBleuの改善を達成。

ABSTRACT

We present persona-based models for handling the issue of speaker consistency in neural response generation. A speaker model encodes personas in distributed embeddings that capture individual characteristics such as background information and speaking style. A dyadic speaker-addressee model captures properties of interactions between two interlocutors. Our models yield qualitative performance improvements in both perplexity and BLEU scores over baseline sequence-to-sequence models, with similar gains in speaker consistency as measured by human judges.

研究の動機と目的

• neural response generationにおけるスピーカ一貫性の課題に対処する。
• Seq2Seqデコーダへペルソナ表現を学習・注入する。
• 個人のスタイルと対話スタイルを捉えるため、単一スピーカー設定とSpeaker–addressee設定の両方をモデル化する。

提案手法

• 訓練可能な埋め込みv_iとしてSpeakerペルソナをエンコードし、Decoder LSTMの各時間ステップに注入する。
• Speaker-Addresseeモデルへ拡張するため、相互作用ベクトルV_{i,j}=tanh(W1 v_i + W2 v_j)を構築し decoding に組み込む。
• TwitterおよびTV-seriesスクリプトなどの大規模対話コーパス上でエンドツーエンドに訓練し、逆伝播で学習する。
• デコーディングにはビームサーチ(B=200)を用い、スコアリング関数でp(R|M,v)、p(M|R)、および長さペナルティを組み合わせたN-bestリストをリランクする。
• PerplexityとBleuで評価し、一貫性の人間判断を併用する。

実験結果

リサーチクエスチョン

• RQ1 オープンドメイン対話でペルソナ埋め込みは応答の一貫性と多様性を向上させるか？
• RQ2 スピーカーモデルおよびSpeaker–addresseeモデルは、非ペルソナのSeq2SeqベースラインよりもPerplexityとBleuを改善するか？
• RQ3 スピーカーが異なるアドレサーと対話する際、dyadic相互作用モデルは生成にどんな影響を及ぼすか？
• RQ4 デコードとリランキング戦略が出力品質と一貫性に与える影響はどのようか？

主な発見

Model	Objective	Bleu
Standard LSTM	MLE	0.92%
Speaker Model	MLE	1.12% (+21.7%)
Standard LSTM	MMI	1.41%
Speaker Model	MMI	1.66% (+11.7%)

• SpeakerモデルはTwitter Personaデータセットにおいて標準のSeq2Seqより約10%の perplexity を低減（perplexity 42.2 vs. 47.2）。
• Twitter PersonaデータセットでSpeakerモデルはMLEで+21.7%、MMIで+11.7%のBleu向上を達成。
• TV-seriesデータセットでは、SpeakerおよびSpeaker-Addresseeモデルの両方が標準Seq2Seqと比べてperplexityを約7–8%低減し、Bleuを概ね10–14%改善。
• 定性的分析では、Speakerモデルは話者固有の多様な応答と一定の一貫性低下を示し、Speaker-Addresseeモデルは対になる相手に対する dyadic感度（例：個別化された相手応答）を示す。
• 人間評価では、人ペルソナモデルはベースラインより一貫性が高いと判断される比率が多く、56.7%は明らかに一貫性が高いと、6.1%は結論として一貫性が高いと判断する（タイを除外した場合）。