[论文解读] Integrating Summarization and Retrieval for Enhanced Personalization via Large Language Models

Chris Richardson, Yao Zhang+6 more|arXiv (Cornell University)|Oct 30, 2023

Topic Modeling被引用 4

一句话总结

本文提出了一种摘要增强的检索框架，利用大语言模型生成的用户摘要来增强自然语言处理系统中的个性化效果，减少对实时检索的依赖。通过离线生成任务感知的摘要，该方法在仅使用原始检索基线75%数据的情况下，实现了相当或更优的性能，尤其在冷启动场景和低延迟应用场景（如语音助手）中表现突出。

ABSTRACT

Personalization, the ability to tailor a system to individual users, is an essential factor in user experience with natural language processing (NLP) systems. With the emergence of Large Language Models (LLMs), a key question is how to leverage these models to better personalize user experiences. To personalize a language model's output, a straightforward approach is to incorporate past user data into the language model prompt, but this approach can result in lengthy inputs exceeding limitations on input length and incurring latency and cost issues. Existing approaches tackle such challenges by selectively extracting relevant user data (i.e. selective retrieval) to construct a prompt for downstream tasks. However, retrieval-based methods are limited by potential information loss, lack of more profound user understanding, and cold-start challenges. To overcome these limitations, we propose a novel summary-augmented approach by extending retrieval-augmented personalization with task-aware user summaries generated by LLMs. The summaries can be generated and stored offline, enabling real-world systems with runtime constraints like voice assistants to leverage the power of LLMs. Experiments show our method with 75% less of retrieved user data is on-par or outperforms retrieval augmentation on most tasks in the LaMP personalization benchmark. We demonstrate that offline summarization via LLMs and runtime retrieval enables better performance for personalization on a range of tasks under practical constraints.

研究动机与目标

• 解决基于检索的个性化方法存在的局限性，包括信息丢失、用户理解浅显以及冷启动问题。
• 通过将用户数据摘要处理任务移至离线处理，缓解大语言模型在输入长度和延迟方面的限制。
• 通过利用高层次、任务感知的用户摘要，在低数据或新用户场景下提升个性化性能。
• 使语音助手等实时、低延迟应用能够通过预计算的摘要受益于大语言模型的能力。
• 证明摘要技术可在不牺牲多样化自然语言处理任务性能的前提下，降低对大规模检索的依赖。

提出的方法

• 基于用户历史和任务上下文，使用大语言模型（如Vicuna、GPT-3.5）离线生成任务感知的用户摘要。
• 将这些摘要存储在知识库中，以便在推理阶段实现低延迟检索。
• 在推理阶段，通过同时检索用户数据和预计算的摘要，增强检索增强生成的效果。
• 采用提示工程策略，引导摘要模型根据下游任务关注相关方面（如写作风格、偏好）。
• 在推理时将摘要与检索结果结合，使模型能够同时访问高层抽象信息和具体数据点。
• 在LaMP基准上对FlanT5-base模型进行微调，以评估不同检索与摘要配置下在分类和生成任务中的性能表现。

Figure 1. Personalization is achieved by combining runtime-retrieved samples with an offline-generated user summary. Given a textual input $x$ that describes a task in natural language, the goal is to generate a personalized output $y$ for users. The retrieval model identifies the most relevant item

实验结果

研究问题

• RQ1 大语言模型生成的用户摘要是否能有效替代或减少个性化自然语言处理任务中对实时检索的依赖？
• RQ2 与仅检索的方法相比，离线摘要处理在低数据或冷启动用户场景下的性能提升程度如何？
• RQ3 摘要模型的质量（如GPT-3.5与Vicuna）对下游个性化性能有何影响？
• RQ4 检索与摘要的混合方法是否能在减少输入长度和推理成本的同时，保持或提升准确性？
• RQ5 在哪些任务中，即使禁用检索，摘要仍能带来性能优势？

主要发现

• 使用GPT-3.5生成的摘要，该方法在LaMP-1（准确率：0.743 vs. 0.709）和LaMP-2（准确率：0.814 vs. 0.807）上均优于仅检索基线（k=4），且在使用更少数据的情况下取得了更优结果。
• 在LaMP基准的六个任务中有五个，该方法在仅使用75%的检索数据量下，性能达到或优于仅检索基线。
• 对于LaMP-1，仅使用离线摘要（k=0）的模型达到了0.738的准确率，超过仅检索基线（k=4）的0.709，表明在数据稀疏场景下具有显著有效性。
• GPT-3.5生成的摘要始终优于Vicuna生成的摘要，可能归因于模型规模和推理质量的差异。
• 与基线相比，该方法在LaMP-1和LaMP-2上实现了统计上显著的改进（p < 0.05），表明其在各类任务中均具备鲁棒性。
• 在LaMP-4和LaMP-5等任务中，该方法在极少检索数据下仍保持或略微提升性能，表明高质量摘要可替代大量检索。