[论文解读] BoB: BERT Over BERT for Training Persona-based Dialogue Models from Limited Personalized Data

Haoyu Song, Yan Wang+3 more|arXiv (Cornell University)|Jun 11, 2021

Topic Modeling参考文献 36被引用 14

一句话总结

本文提出 BoB，一种 BERT-over-BERT 模型，将基于人格的对话生成解耦为两个任务：响应生成与人格一致性理解。通过在大规模非对话推理数据上使用反似然训练目标，在双向解码器上进行训练，BoB 即使在个性化对话数据有限的情况下，也能显著提升人格一致性，在自动评估与人工评估中均优于强基线模型。

ABSTRACT

Maintaining consistent personas is essential for dialogue agents. Although tremendous advancements have been brought, the limited-scale of annotated persona-dense data are still barriers towards training robust and consistent persona-based dialogue models. In this work, we show how the challenges can be addressed by disentangling persona-based dialogue generation into two sub-tasks with a novel BERT-over-BERT (BoB) model. Specifically, the model consists of a BERT-based encoder and two BERT-based decoders, where one decoder is for response generation, and another is for consistency understanding. In particular, to learn the ability of consistency understanding from large-scale non-dialogue inference data, we train the second decoder in an unlikelihood manner. Under different limited data settings, both automatic and human evaluations demonstrate that the proposed model outperforms strong baselines in response quality and persona consistency.

研究动机与目标

• 解决在仅有有限个性化对话数据时，训练鲁棒人格化对话模型的挑战。
• 提升生成响应中的人格一致性，该问题在低资源设置下常被削弱。
• 探索使用非对话推理数据进行一致性理解预训练的可行性，而非仅依赖密集人格对话数据。
• 将对话生成与一致性理解解耦为两个子任务，以实现更好的模型专业化与数据效率。
• 证明在推理数据上进行反似然训练可增强模型拒绝不一致响应的能力。

提出的方法

• 该模型使用 BERT 基础编码器和两个 BERT 基础解码器：一个自回归解码器用于响应生成，一个双向解码器用于一致性理解。
• 响应生成解码器（D₁）在对话上下文和人格信息的条件下，生成粗粒度的响应表征。
• 一致性理解解码器（D₂）接收响应表征与人格信息，预测响应是否一致，采用反似然目标以惩罚矛盾输出。
• 反似然目标在 SNLI 和 MNLI 数据集上进行预训练时应用，以教会模型拒绝不一致响应。
• 所有组件均从预训练 BERT 初始化，整个模型在有限的人格密集对话数据上进行微调。
• 模型端到端训练，其中 D₂ 在非对话推理数据上独立训练，以学习一致性理解，无需对话标注。

实验结果

研究问题

• RQ1 在低资源设置下，将人格化对话解耦为响应生成与一致性理解是否能提升模型性能？
• RQ2 在非对话推理数据上进行反似然训练是否能有效增强模型检测不一致人格响应的能力？
• RQ3 在大规模推理数据上进行预训练是否能弥补缺乏大规模人格密集对话数据的不足？
• RQ4 专用一致性解码器的引入如何影响响应质量与一致性指标？
• RQ5 BoB 的架构设计（而非仅 BERT 初始化）在提升困惑度与一致性方面贡献有多大？

主要发现

• BoB 模型在完整 PersonaChat 数据集上实现了 0.60 的人格一致性得分（Per.C.），显著优于基线 GPT-2 模型。
• 移除反似然目标（w/o UL）后，人格一致性得分降至 0.48，表明反似然训练对一致性理解至关重要。
• 同时使用两个解码器与反似然训练的模型在 PersonaChat 上的困惑度（PPL）为 7.8，远低于原始 BERT 基线的 25.7 PPL。
• 消融实验表明，双向解码器（D₂）对低困惑度贡献最大，表明其在响应生成质量中的关键作用。
• 人工评估确认，与强基线相比，BoB 生成的响应更具一致性且更符合上下文，尤其在保持人格连贯性方面表现更优。
• 该模型在人格密集与人格稀疏设置下均表现出良好泛化能力，展现出对数据稀缺的鲁棒性。