[论文解读] Consistent Dialogue Generation with Self-supervised Feature Learning

Yizhe Zhang, Xiang Gao+5 more|arXiv (Cornell University)|Mar 13, 2019

Topic Modeling参考文献 42被引用 30

一句话总结

本文提出了一种自监督对话生成模型，通过从无标签对话数据中学习解耦的二值化话题和人格特征，以提升回复的一致性。通过使用具有解耦损失的判别性特征提取器和可控生成，该模型在两个基准测试中均实现了话题和人格方面的一流一致性，优于使用显式人格监督的模型。

ABSTRACT

Generating responses that are consistent with the dialogue context is one of the central challenges in building engaging conversational agents. We demonstrate that neural conversation models can be geared towards generating consistent responses by maintaining certain features related to topics and personas throughout the conversation. Past work has required external supervision that exploits features such as user identities that are often unavailable. In our approach, topic and persona feature extractors are trained using a contrastive training scheme that utilizes the natural structure of dialogue data. We further adopt a feature disentangling loss which, paired with controllable response generation techniques, allows us to promote or demote certain learned topics and persona features. Evaluation results demonstrate the model's ability to capture meaningful topics and persona features. The incorporation of the learned features brings significant improvement in terms of the quality of generated responses on two dialogue datasets.

研究动机与目标

• 为解决开放域对话系统中不依赖标注或敏感用户身份数据来维持话题和人格一致性的问题。
• 开发一种自监督方法，直接从对话结构中提取有意义的、解耦的话题和人格特征。
• 通过操纵学习到的二值化特征，实现可控的回复生成，提升可解释性和控制能力。
• 证明无监督特征学习可达到或超越使用显式人格标注的模型性能。

提出的方法

• 训练一种自监督特征提取器，仅利用对话的自然结构，从对话历史中识别话题和人格表征，而无需说话人身份或外部标签。
• 采用二值化特征表示以提升可解释性，从而在生成过程中实现对特定话题或人格的清晰开启/关闭控制。
• 引入解耦损失，以鼓励模型为不同话题和人格学习到独立且不重叠的特征。
• 响应生成器将提取的特征作为控制信号，实现与高层上下文特征对齐的一致性回复生成。
• 应用可控生成技术，在解码过程中促进或抑制特定特征，以增强一致性。
• 使用神经句子编码器捕捉丰富、上下文相关的表征，替代传统主题模型中使用的词袋特征。

实验结果

研究问题

• RQ1 在无显式监督或标注人格数据的情况下，能否提升对话生成中的话题和人格一致性？
• RQ2 从对话结构中进行自监督学习，能否有效提取解耦的、可解释的话题和人格特征？
• RQ3 使用二值化特征表示和解耦损失是否能提升回复生成中的控制力和一致性？
• RQ4 在未使用显式人格信息训练的模型能否超越使用显式人格嵌入的模型？

主要发现

• CoCon-TP 模型在 Twitter 和 Maluuba 数据集上的相关性得分均最高，BLEU 分数分别为 3.31 和 5.8。
• CoCon-TP-bin 变体在多样性指标上优于所有基线模型，在 Twitter 数据集上达到 Dist-1 为 10.59 和 Dist-2 为 0.100。
• 在人工评估中，CoCon-TP 在话题一致性方面获得 45.20% 的偏好，在人格一致性方面获得 40.95% 的偏好，相较于 seq2seq 和人格模型有显著提升。
• 与人类输出相比，人工评判者更偏好 CoCon-TP，话题一致性偏好度为 51.65%，人格一致性偏好度为 45.30%，仅低于人类参考输出。
• 即使与使用显式人格信息的模型相比，该模型在一致性方面也实现了显著改进，证明了自监督特征学习的有效性。
• 消融实验证实，解耦损失和二值化特征表示显著提升了特征的可解释性和控制能力。