[论文解读] DRDT: Dynamic Reflection with Divergent Thinking for LLM-based Sequential Recommendation

Yu Wang, Zhiwei Liu+4 more|arXiv (Cornell University)|Dec 18, 2023

Topic Modeling被引用 5

一句话总结

本文提出 DRDT，一种基于大语言模型（LLM）的动态反思与发散思维框架，用于序列推荐，可在无需微调的情况下提升零样本排序性能。通过利用协同的上下文示范、多维度偏好抽象以及迭代的探测-批判-反思机制，DRDT 在三个数据集上的 NDCG@10 指标上优于 GPT-Turbo-3.5 和 7B 参数模型（如 Vicuna-7b 和 OpenChat-7b）。

ABSTRACT

The rise of Large Language Models (LLMs) has sparked interest in their application to sequential recommendation tasks as they can provide supportive item information. However, due to the inherent complexities of sequential recommendation, such as sequential patterns across datasets, noise within sequences, and the temporal evolution of user preferences, existing LLM reasoning strategies, such as in-context learning and chain-of-thought are not fully effective. To address these challenges, we introduce a novel reasoning principle: Dynamic Reflection with Divergent Thinking within a retriever-reranker framework. Our approach starts with a collaborative in-context demonstration retriever, which collects sequences exhibiting collaborative behaviors as in-context examples. Following this, we abstract high-level user preferences across multiple aspects, providing a more nuanced understanding of user interests and circumventing the noise within the raw sequences. The cornerstone of our methodology is dynamic reflection, a process that emulates human learning through probing, critiquing, and reflecting, using user feedback to tailor the analysis more effectively to the target user in a temporal manner. We evaluate our approach on three datasets using six pre-trained LLMs. The superior performance observed across these models demonstrates the efficacy of our reasoning strategy, notably achieved without the need to fine-tune the LLMs. With our principle, we managed to outperform GPT-Turbo-3.5 on three datasets using 7b models e.g., Vicuna-7b and Openchat-7b on NDCG@10. This research not only highlights the potential of LLMs in enhancing sequential recommendation systems but also underscores the importance of developing tailored reasoning strategies to fully harness their capabilities.

研究动机与目标

• 解决现有提示策略（如上下文学习和思维链）在捕捉序列推荐中用户偏好的协同信号、噪声及时间演化方面的局限性。
• 开发一种推理框架，使大语言模型能够在无需微调的情况下有效推理用户偏好的动态演变。
• 通过整合协同行为模式和用户特定的偏好抽象，提升零样本大语言模型的排序性能。
• 探究迭代反思机制如何在标准提示之外增强大语言模型在序列推荐中的推理能力。

提出的方法

• 采用检索器-重排序器框架，其中检索器使用协同的上下文示范检索器，从数据集中检索出具有相似协同行为的序列。
• 应用发散思维，从多个维度抽象高层次的用户偏好，减少原始序列中的噪声，实现对用户兴趣的细致理解。
• 实施动态反思作为探测-批判-反思的循环机制：大语言模型生成预测，针对特定位置的真值项目进行评估，并迭代优化其理解。
• 反思过程具有时间锚定性，使用截至位置 s-4 的历史序列，并在 s-3、s-2 等位置测试预测，以模拟用户偏好的时间演化。
• 通过在反思过程中使用真值项目作为锚点，避免幻觉累积，确保推理与实际用户行为保持一致。
• 该方法应用于六种预训练大语言模型（包括 Vicuna-7b 和 GPT-Turbo-3.5），无需微调，仅依赖提示工程与检索技术。

实验结果

研究问题

• RQ1 基于动态反思与发散思维的推理策略是否能在无需微调的情况下提升大语言模型在序列推荐中的零样本性能？
• RQ2 协同的上下文示范检索在捕捉基于大语言模型推荐的用户间协同信号方面有多有效？
• RQ3 多维度偏好抽象在多大程度上能够缓解用户交互序列中的噪声？
• RQ4 动态反思步骤的数量如何影响排序性能？最优的反思频率是什么？
• RQ5 DRDT 与标准提示策略（如纯文本提示、ICL 和零样本思维链）相比，在捕捉时间偏好演化方面表现如何？

主要发现

• DRDT 在所有三个数据集上均优于 GPT-Turbo-3.5，仅使用 7B 参数模型（如 Vicuna-7b 和 OpenChat-7b），实现了更高的 NDCG@10。
• 性能指标（Recall@10 和 NDCG@10）随动态反思步骤数增加而提升，但在 3 步时达到峰值，受上下文长度限制。
• 案例研究中，DRDT 将真值项目（Judge Dredd）成功排在首位，而纯文本提示和 COT 策略则退化为重述历史交互。
• ICL 提升了任务理解，但未能完全捕捉个性化偏好的细微差别，其排序基于与历史记录的相似性，而非最优重排序。
• 动态反思机制使大语言模型能够通过使用真值反馈迭代探测和批判预测，生成更连贯且有针对性的推理路径。
• 该方法通过将反思锚定于实际用户行为，有效缓解了幻觉与噪声，避免了推理过程中的长期漂移。