[论文解读] Compress to Impress: Unleashing the Potential of Compressive Memory in Real-World Long-Term Conversations

Nuo Chen, Hongguang Li+3 more|arXiv (Cornell University)|Feb 19, 2024

Creativity in Education and NeurosciencePsychology被引用 3

一句话总结

本文提出 COMEDY，一种基于大语言模型的新型对话系统，用统一的“一劳永逸”框架替代传统的基于检索的记忆管理机制，实现压缩记忆。通过将会话摘要、用户与对话机器人之间的动态关系以及过往事件整合为单一紧凑的记忆表征，COMEDY 在无需外部记忆数据库或检索模块的情况下，实现了更类人、上下文连贯的长期对话，且在真实世界中文对话基准测试中优于现有方法。

ABSTRACT

Existing retrieval-based methods have made significant strides in maintaining long-term conversations. However, these approaches face challenges in memory database management and accurate memory retrieval, hindering their efficacy in dynamic, real-world interactions. This study introduces a novel framework, COmpressive Memory-Enhanced Dialogue sYstems (COMEDY), which eschews traditional retrieval modules and memory databases. Instead, COMEDY adopts a "One-for-All" approach, utilizing a single language model to manage memory generation, compression, and response generation. Central to this framework is the concept of compressive memory, which intergrates session-specific summaries, user-bot dynamics, and past events into a concise memory format. To support COMEDY, we curated a large-scale Chinese instruction-tuning dataset, Dolphin, derived from real user-chatbot interactions. Comparative evaluations demonstrate COMEDY's superiority over traditional retrieval-based methods in producing more nuanced and human-like conversational experiences. Our codes are available at https://github.com/nuochenpku/COMEDY.

研究动机与目标

• 解决基于检索的记忆系统在长期对话中的局限性，例如性能不可预测性和记忆数据库管理的复杂性。
• 通过消除对独立记忆检索和数据库存储的需求，实现更连贯、更类人的长期对话。
• 开发一种统一的端到端框架，实现在单一语言模型内生成、压缩并利用记忆。
• 从真实用户-聊天机器人交互中构建一个真实、大规模的中文指令微调数据集（Dolphin），以更真实地反映现实世界中的对话动态。
• 证明单一压缩记忆表征能够有效支持细致入微、上下文丰富且个性化的长期交互对话。

提出的方法

• COMEDY 采用单一大型语言模型，联合处理记忆生成、压缩与响应生成，无需独立模块。
• 通过融合三部分构建压缩记忆：会话特定的摘要、用户与机器人画像，以及交互过程中关系的动态演变。
• 通过重新处理并浓缩所有过往交互内容，将所有信息压缩为单一简洁的记忆表征，避免使用外部记忆数据库。
• 从真实用户-聊天机器人交互中收集并整理出一个名为 Dolphin 的大规模中文指令微调数据集，用于系统训练与评估。
• 采用少样本提示和指令微调，使 LLM 与生成和维护压缩记忆的任务对齐。
• 在推理过程中动态更新并整合压缩记忆到上下文中，实现长时程的连贯性。

实验结果

研究问题

• RQ1 单一 LLM 是否能有效替代多模块基于检索的记忆系统，实现在无外部记忆存储情况下的长期对话？
• RQ2 与传统基于检索的方法相比，统一的‘一劳永逸’方法在真实对话中的响应质量与连贯性方面表现如何？
• RQ3 整合摘要、用户档案与关系动态的压缩记忆表征，在多大程度上能提升长期对话的连贯性与个性化程度？
• RQ4 COMEDY 在与现有基准相比的多样化真实对话场景中，性能表现如何？
• RQ5 大规模真实世界中文对话数据集（Dolphin）是否能有效支持构建稳健的长期对话系统？

主要发现

• COMEDY 在生成更细致、上下文连贯且类人化的长期对话响应方面，优于传统的基于检索的方法。
• 由于缺乏检索模块与记忆数据库，系统表现出更稳定、更可预测的性能，避免了基于嵌入检索失败的陷阱。
• 压缩记忆表征成功捕捉并保留了跨会话的关键信息，包括用户偏好、事件历史以及不断演变的关系动态。
• 在 Dolphin 数据集上的评估表明，COMEDY 在长时间对话中生成了更具个性化和情感一致性的响应。
• 该框架在处理多样化的真实对话主题、口语化表达及动态用户行为方面表现出强健性。
• 消融实验证实，用户画像与关系动态的整合显著提升了响应质量与连贯性。