[论文解读] Keep Me Updated! Memory Management in Long-term Conversations

Sanghwan Bae, Donghyun Kwak+8 more|arXiv (Cornell University)|Oct 17, 2022

Topic Modeling被引用 5

一句话总结

本文提出了一项新颖的任务与数据集，用于长期对话中的记忆管理，其中聊天机器人在会话间动态更新用户信息。该方法提出一种基于非结构化文本摘要和成对操作（PASS、REPLACE、APPEND、DELETE）的记忆管理机制，以消除过时或冗余的信息，显著提升了对话的吸引力与自然度——尤其在后续会话中，相较于保留静态记忆的基线模型表现更优。

ABSTRACT

Remembering important information from the past and continuing to talk about it in the present are crucial in long-term conversations. However, previous literature does not deal with cases where the memorized information is outdated, which may cause confusion in later conversations. To address this issue, we present a novel task and a corresponding dataset of memory management in long-term conversations, in which bots keep track of and bring up the latest information about users while conversing through multiple sessions. In order to support more precise and interpretable memory, we represent memory as unstructured text descriptions of key information and propose a new mechanism of memory management that selectively eliminates invalidated or redundant information. Experimental results show that our approach outperforms the baselines that leave the stored memory unchanged in terms of engagingness and humanness, with larger performance gap especially in the later sessions.

研究动机与目标

• 解决现有对话系统在长期记忆中无法更新过时或冗余用户信息的缺陷。
• 开发一种选择性更新或删除过时信息的记忆管理机制，以在多轮会话中保持信息的准确性和相关性。
• 构建一个新的韩语长期对话数据集，其中用户信息在会话间持续演变，以支持动态记忆管理的研究。
• 评估动态记忆更新对聊天机器人吸引力、自然度及记忆保持能力随时间的影响。

提出的方法

• 系统将对话历史中的用户信息抽象总结为非结构化文本描述，用于记忆存储。
• 提出一种新颖的记忆管理机制，使用四种成对操作——PASS、REPLACE、APPEND 和 DELETE——比较新旧信息并相应更新记忆。
• 该机制可检测矛盾或冗余（例如，将“尚未测试”替换为“刚测试呈阳性”），确保记忆中仅保留有效且最新的信息。
• 在后续会话中，检索相关记忆并作为条件上下文用于对话模型的响应生成。
• 通过自动评估与人工评估在多轮会话中对方法进行评估，并开展消融实验以隔离记忆更新的贡献。
• 通过扩展现有的韩语开放域对话数据集，构建包含多轮交互与用户事实变化的会话数据。

实验结果

研究问题

• RQ1 在会话间动态更新用户记忆，如何影响长期聊天机器人对话的吸引力与自然度？
• RQ2 相较于静态记忆保留，一种能移除过时或冗余信息的记忆管理机制，在多大程度上提升了对话质量？
• RQ3 在旧记忆与新记忆摘要之间进行成对操作，能否有效识别并解决用户信息中的矛盾或冗余？
• RQ4 所提方法在后续会话中的表现如何演变，特别是在记忆保持力与连贯性方面？

主要发现

• 所提记忆管理机制在吸引力与自然度方面显著优于保留静态记忆的基线模型，且在后续会话中性能差距更为明显。
• 人工评估显示，记忆更新机制被评为最具吸引力与最自然，表明对话的自然度与一致性得到提升。
• 自动评估与人工评估均验证了系统随时间推移的记忆保持能力提升，尤其在用户信息发生变化的会话中表现更优。
• 成对操作（PASS、REPLACE、APPEND、DELETE）能有效识别并解决矛盾，例如将过时的健康状态陈述替换为新信息，从而提升记忆准确性。