[论文解读] Large Language Models Meet Harry Potter: A Bilingual Dataset for Aligning Dialogue Agents with Characters

Nuo Chen, Yan Wang+6 more|arXiv (Cornell University)|Nov 13, 2022

Topic Modeling被引用 4

一句话总结

本文介绍了《哈利·波特对话》（HPD）数据集，这是一个双语（英语/中文）基准数据集，包含动态标注的场景、角色属性以及随时间演变的关系，旨在提升对话智能体与虚构角色的一致性。尽管大型语言模型表现强劲，但其生成的回应仍缺乏上下文准确性与角色一致性，凸显了在叙事驱动型对话系统中改进对齐技术的必要性。

ABSTRACT

In recent years, Dialogue-style Large Language Models (LLMs) such as ChatGPT and GPT4 have demonstrated immense potential in constructing open-domain dialogue agents. However, aligning these agents with specific characters or individuals remains a considerable challenge due to the complexities of character representation and the lack of comprehensive annotations. In this paper, we introduce the Harry Potter Dialogue (HPD) dataset, designed to advance the study of dialogue agents and character alignment. The dataset encompasses all dialogue sessions (in both English and Chinese) from the Harry Potter series and is annotated with vital background information, including dialogue scenes, speakers, character relationships, and attributes. These extensive annotations may empower LLMs to unlock character-driven dialogue capabilities. Furthermore, it can serve as a universal benchmark for evaluating how well can a LLM aligning with a specific character. We benchmark LLMs on HPD using both fine-tuning and in-context learning settings. Evaluation results reveal that although there is substantial room for improvement in generating high-quality, character-aligned responses, the proposed dataset is valuable in guiding models toward responses that better align with the character of Harry Potter.

研究动机与目标

• 解决在叙事性语境中将对话智能体与特定虚构角色对齐的挑战。
• 克服现有数据集缺乏动态、随时间演变的角色属性与关系的局限性。
• 创建一个用于评估基于生成与基于检索的对话智能体在角色对齐设置下的基准。
• 探究如何引导大型语言模型生成与角色发展、关系及故事背景一致的回应。
• 提供一种资源，通过细致的叙事理解推动虚拟环境中个性化对话系统的发展。

提出的方法

• HPD数据集收集了《哈利·波特》小说中所有对话会话的英文与中文版本，共包含1,042个训练会话和149个测试会话。
• 每个对话均标注了场景背景、说话者属性、动态角色关系（如友谊、敌对关系），以及这些关系随时间的演变。
• 标注内容包括时间戳标记的角色状态变化，如友谊的转变或情绪状态的改变，以反映故事的推进。
• 该数据集支持少样本上下文学习与微调评估方案，适用于大型语言模型。
• 测试集每条样本包含1–3个正样本响应与9个负样本响应，支持对响应相关性与角色一致性的严格评估。
• 数据集随附一个脚本，可通过行号与页码提取原始对话，确保可复现性与伦理使用。

实验结果

研究问题

• RQ1 大型语言模型在多大程度上能够生成与角色个性、关系及不断演变的故事背景一致的回应？
• RQ2 当模拟角色行为时，当前大型语言模型在在多大程度上会产生幻觉或与既定叙事事实相矛盾？
• RQ3 对角色属性与关系的动态标注是否能显著提升大型语言模型与虚构角色的对齐程度？
• RQ4 在实现叙事一致性对话生成方面，上下文学习与微调存在哪些局限性？
• RQ5 关系动态（如暂时疏远）如何影响大型语言模型的回应生成？模型能否捕捉此类细微差别？

主要发现

• 像ChatGPT和GPT-4这样的大型语言模型经常生成与故事背景相矛盾的回应，例如在双方互相回避的时期让哈利和罗恩和好。
• 即使在提供详尽上下文提示的情况下，模型仍无法准确体现哈利在冲突后不愿见罗恩的态度，反而生成符合他们友谊关系的回应。
• 模型常以“是的，我确实……”开头生成回应，这错误地反映了哈利试图淡化自己能与蛇对话的能力的本意。
• 在《四部曲》第19章的案例研究中，模型未能捕捉到哈利对自身能力的恐惧与隐瞒欲望，反而生成了过于坦率或诚实的回应。
• 尽管在《哈利·波特》宇宙上进行了训练，大型语言模型在处理细微角色行为方面仍存在困难，表明仅靠下一个词预测不足以实现深层叙事对齐。
• HPD基准揭示了当前大型语言模型在角色对齐对话方面存在显著能力缺口，尤其是在处理动态关系与时间一致性方面。