[论文解读] Controlling Personality Style in Dialogue with Zero-Shot Prompt-Based Learning

Angela Ramirez, Mamon Alsalihy+4 more|arXiv (Cornell University)|Feb 8, 2023

Topic Modeling被引用 6

一句话总结

本文提出了一种基于提示的零样本方法，用于在任务导向对话生成中同时控制个性风格和语义准确性。通过使用文本风格迁移（TST）提示并结合过生成与基于度量的排序方法，该方法在电子游戏对话中实现了100%的个性准确率和87.6%的语义准确率，优于数据到文本提示，并展现出强大的跨领域迁移能力。

ABSTRACT

Prompt-based or in-context learning has achieved high zero-shot performance on many natural language generation (NLG) tasks. Here we explore the performance of prompt-based learning for simultaneously controlling the personality and the semantic accuracy of an NLG for task-oriented dialogue. We experiment with prompt-based learning on the PERSONAGE restaurant recommendation corpus to generate semantically and stylistically-controlled text for 5 different Big-5 personality types: agreeable, disagreeable, conscientious, unconscientious, and extravert. We test two different classes of discrete prompts to generate utterances for a particular personality style: (1) prompts that demonstrate generating directly from a meaning representation that includes a personality specification; and (2) prompts that rely on first converting the meaning representation to a textual pseudo-reference, and then using the pseudo-reference in a textual style transfer (TST) prompt. In each case, we show that we can vastly improve performance by over-generating outputs and ranking them, testing several ranking functions based on automatic metrics for semantic accuracy, personality-match, and fluency. We also test whether NLG personality demonstrations from the restaurant domain can be used with meaning representations for the video game domain to generate personality stylized utterances about video games. Our findings show that the TST prompts produces the highest semantic accuracy (78.46% for restaurants and 87.6% for video games) and personality accuracy (100% for restaurants and 97% for video games). Our results on transferring personality style to video game utterances are surprisingly good. To our knowledge, there is no previous work testing the application of prompt-based learning to simultaneously controlling both style and semantic accuracy in NLG.

研究动机与目标

• 探索基于提示的学习方法，以在任务导向对话的自然语言生成中同时控制个性风格和语义准确性。
• 比较两种提示类型：直接的数据到文本（D2T）提示与文本风格迁移（TST）提示在个性风格化方面的表现。
• 评估少样本演示的影响，包括单个与多个个性示例，以及多样化的采样策略。
• 测试从餐厅领域到电子游戏领域的零样本个性风格迁移，使用目标领域的语义表示。
• 通过自动指标评估性能，包括流畅性、语义准确性和个性匹配度，并识别最优的排序函数。

提出的方法

• 该方法使用两种离散的提示类型：(1) D2T提示，直接从嵌入个性规格的语义表示生成；(2) TST提示，先将语义表示转换为伪参考文本，再应用风格迁移。
• 对于每个输入，模型生成多个候选话语（过生成），以提高高质量输出的可能性。
• 使用自动指标的加权组合对输出进行排序：BLEURT用于流畅性，特定于个性的槽错误率用于语义准确性，训练好的个性分类器用于个性匹配度。
• 表现最佳的设置采用TST提示，结合单个个性示例和多样性感知采样，显著提升了语义和风格准确性。
• 该方法在Personage语料库（餐厅领域）上进行评估，并通过后者的目标领域语义表示，将其迁移至ViGGO语料库（电子游戏领域）。
• 使用结合个性准确率、语义准确率和流畅性的排序函数选择最终输出，其中RF3（整合BLEURT和槽错误率）表现出显著改进。

Figure 1: Two models for Semantically Controlled Generation with Style

实验结果

研究问题

• RQ1 基于提示的学习能否在无需微调的情况下，同时控制任务导向对话生成中的个性风格和语义准确性？
• RQ2 在语义准确率和个性匹配度方面，D2T提示与TST提示哪种类型表现更优？
• RQ3 少样本演示的数量和多样性如何影响模型对未见个性风格的泛化能力？
• RQ4 在使用目标领域语义表示的前提下，从餐厅领域学到的个性风格化在多大程度上可以迁移到电子游戏领域？
• RQ5 哪种子自动指标组合能最有效地对输出进行排序，以在流畅性、语义忠实度和个性准确率之间实现最佳平衡？

主要发现

• TST提示方法在ViGGO电子游戏数据集上实现了100%的个性准确率和87.6%的语义准确率，显著优于D2T提示。
• 在Personage餐厅数据集上，TST提示实现了78.46%的语义准确率和100%的个性准确率，表明其在源领域也具有强大性能。
• 通过过生成多个输出并使用复合指标（RF3）进行排序，语义准确率相比简单排序函数实现了统计显著提升（p = 0）。
• 在单个提示中使用多个个性示例会降低性能，表明单一样式演示在零样本风格控制中更为有效。
• 模型成功地将餐厅领域的个性风格迁移至电子游戏领域，即使在未见过的领域中，也能生成语言上一致的个性标记，如用'Hey'表示亲和力，用'Mmhm...'表示外向性。
• 餐厅与电子游戏领域之间的性能差距归因于Personage语料库中的去词化名称，而ViGGO中真实世界知识的引入可能提升了语义忠实度。