[论文解读] Long Time No See! Open-Domain Conversation with Long-Term Persona Memory

Xinchao Xu, Zhibin Gou+5 more|arXiv (Cornell University)|Mar 11, 2022

Topic Modeling被引用 5

一句话总结

本文提出了长期记忆对话（LeMon）任务，并提出了DuLeMon，一个大规模中文多轮对话数据集，具备相互的个性记忆。该研究提出了PLATO-LTM，一种即插即用的框架，配备长期记忆（LTM）机制，能够实时动态提取并更新用户与对话机器人自身的个性信息，显著提升了对话的一致性与互动性，且无需依赖长时间会话的微调数据。

ABSTRACT

Most of the open-domain dialogue models tend to perform poorly in the setting of long-term human-bot conversations. The possible reason is that they lack the capability of understanding and memorizing long-term dialogue history information. To address this issue, we present a novel task of Long-term Memory Conversation (LeMon) and then build a new dialogue dataset DuLeMon and a dialogue generation framework with Long-Term Memory (LTM) mechanism (called PLATO-LTM). This LTM mechanism enables our system to accurately extract and continuously update long-term persona memory without requiring multiple-session dialogue datasets for model training. To our knowledge, this is the first attempt to conduct real-time dynamic management of persona information of both parties, including the user and the bot. Results on DuLeMon indicate that PLATO-LTM can significantly outperform baselines in terms of long-term dialogue consistency, leading to better dialogue engagingness.

研究动机与目标

• 为解决开放域对话系统中长期个性建模的不足，特别是长期交互中的一致性维持问题。
• 设计一个真实可信的长期对话任务，捕捉用户与对话机器人之间的相互个性记忆，超越静态个性设定。
• 开发一种框架，实现在无需多会话微调数据的前提下，对用户与对话机器人个性记忆进行实时、动态管理。
• 评估长期记忆机制在提升开放域对话中的一致性与互动性方面的有效性。

提出的方法

• 提出LeMon任务作为长期记忆对话的新基准，强调相互个性保留与动态更新。
• 构建DuLeMon，一个大规模中文对话数据集，包含10,907个多轮对话，其中每个话语中均显式标注了用户与对话机器人双方的个性信息。
• 设计PLATO-LTM，一种即插即用的框架，集成个性信息提取器（PE），从对话历史中筛选并提取与个性相关的话语。
• 采用双长期记忆（LTM）模块——分别为用户与对话机器人设置独立的记忆模块，用于存储并实时持续更新个性事实。
• 将来自两个记忆模块检索到的个性话语直接整合到大规模生成模型（PLATO-2）的输入中，用于生成回复。
• 采用自对话评估设置，使用用户模拟器，对话机器人与模拟器在10个回合中进行交互，每轮包含4个会话，每个会话16轮，以评估一致性和互动性。

实验结果

研究问题

• RQ1 对话系统是否能在不依赖长会话微调数据的前提下，长期维持并利用自身与用户的动态个性信息？
• RQ2 实时、动态的个性信息提取与记忆机制在提升对话一致性与互动性方面效果如何？
• RQ3 与仅使用原始记忆相比，专用个性信息提取器是否显著提升长期记忆系统的性能？
• RQ4 在小规模数据集上进行微调在多大程度上会损害预训练对话模型在开放域、长时程对话中的连贯性？

主要发现

• PLATO-LTM在对话一致性评分上达到0.87，显著优于基线模型PLATO-2与微调后的PLATO-FT（0.40），证明了LTM机制的有效性。
• 在PLATO-LTM中使用个性信息提取器（PE）使对话一致性提升118%（相对于PLATO-FT），凸显其在准确个性记忆管理中的关键作用。
• PLATO-LTM获得人工评估的互动性得分为1.54，高于基线模型PLATO-2，表明通过更优的个性信息利用提升了用户参与度。
• 若移除个性信息提取器（PLATO-LTM w/o PE），互动性得分降至1.43，证实PE同时提升了对话一致性与互动性。
• 在DuLeMon数据集上进行微调略微损害了对话连贯性，因为PLATO-FT在连贯性上的得分为1.59，低于非微调的PLATO基线，表明微调可能对开放域连贯性产生负面影响。
• 仅使用LTM机制（无PE）仍能将一致性提升至0.49，优于基线模型，表明记忆存储与检索本身已带来可测量的收益。