[论文解读] Learning to mirror speaking styles incrementally

Siyi Liu, Ziang Leng+1 more|arXiv (Cornell University)|Mar 5, 2020

Natural Language Processing Techniques参考文献 13被引用 4

一句话总结

本文提出了一种增量式方法，通过高效项集挖掘提取的频繁n-gram，学习并镜像个体说话风格。该方法结合基于BERT的模式注入与序列到序列建模，将句子转换为目标风格，在小样本数据下通过显式模式注入表现出优越性能，而序列到序列模型在大规模数据下表现更佳，从而实现在聊天机器人中动态、类人化的风格镜像。

ABSTRACT

Mirroring is the behavior in which one person subconsciously imitates the gesture, speech pattern, or attitude of another. In conversations, mirroring often signals the speakers enjoyment and engagement in their communication. In chatbots, methods have been proposed to add personas to the chatbots and to train them to speak or to shift their dialogue style to that of the personas. However, they often require a large dataset consisting of dialogues of the target personalities to train. In this work, we explore a method that can learn to mirror the speaking styles of a person incrementally. Our method extracts ngrams that capture a persons speaking styles and uses the ngrams to create patterns for transforming sentences to the persons speaking styles. Our experiments show that our method is able to capture patterns of speaking style that can be used to transform regular sentences into sentences with the target style.

研究动机与目标

• 开发一种方法，能够从不断增长的对话数据中增量式学习个体说话风格，与需要大规模预标注数据集的静态模型不同。
• 解决现有个性与风格迁移模型的局限性，即聚焦于领域级或资料卡式个性，而非个体语言模式。
• 使聊天机器人能够实时动态适应并镜像用户说话模式，提升人机交互中的参与感与自然度。
• 设计一种可扩展、高效的方案，捕捉填充词、重复、强调词等风格特征，而无需依赖人工启发式规则或大规模预训练。

提出的方法

• 使用增量频繁项集挖掘算法从说话者话语中提取频繁n-gram，高效识别重复出现的语言模式。
• 利用BERT编码句子表征，并计算输入句与转换后句子之间的余弦相似度，以在风格迁移过程中保持语义上下文。
• 通过从挖掘出的n-gram集合中选择最语境相似且风格匹配的模式，实施显式模式注入，插入到输入句子中。
• 使用注意力机制训练序列到序列模型，联合学习模式选择与句子转换，当训练数据充足时提升流畅度。
• 结合基于模式的转换与神经生成，使系统能根据数据可用性自适应调整策略——小样本时使用模式注入，大样本时使用序列到序列模型。
• 采用两阶段评估：困惑度衡量流畅度，余弦相似度衡量上下文保持能力，使用BERT的加权平均词向量。

实验结果

研究问题

• RQ1 模型能否随着更多对话数据的可用，增量式学习并反映个体说话风格？
• RQ2 在训练数据有限的情况下，使用频繁n-gram的显式模式注入与端到端序列到序列学习相比，在风格迁移性能上表现如何？
• RQ3 基于BERT的模式注入在将句子转换为目标说话者风格的同时，能在多大程度上保持原始句子的上下文？
• RQ4 随着对话数据量的增加，模型性能是否提升？最优策略是否会从模式注入转向神经生成？
• RQ5 该方法能否有效捕捉并重现如唐纳德·特朗普等个体说话者特有的风格特征，如填充词、重复和强调词？

主要发现

• 仅使用5%的数据时，基于BERT的显式模式注入方法困惑度为27.5，余弦相似度为0.98，显著优于序列到序列模型（困惑度11.7，相似度0.68）。
• 当数据增至20%时，BERT+模式方法保持高相似度（0.98）和中等困惑度（22.5），而序列到序列模型的相似度提升至0.74，但困惑度上升至24.2。
• 序列到序列模型在低数据条件下产生不连贯、重复的输出，表现为高流畅度（低困惑度）但上下文保持能力差，表明其记忆了训练样本。
• BERT+显式模式方法在所有数据设置下更有效地保持了输入上下文，表现为余弦相似度持续保持高位（5%、10%、20%数据时均为0.98）。
• 在完整数据（100%）下，序列到序列模型的困惑度上升至36.7，表明流畅度下降，而相似度提升至0.85，表明上下文保留更好，但整体性能因过拟合或不稳定性而变差。
• 结果证实假设：在数据稀缺时，显式模式注入比端到端学习更有效；而在数据充足时，序列到序列模型表现更优，验证了混合策略的有效性。