[論文レビュー] DRDT: Dynamic Reflection with Divergent Thinking for LLM-based Sequential Recommendation

Yu Wang, Zhiwei Liu+4 more|arXiv (Cornell University)|Dec 18, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、微調整を伴わずにゼロショットランキングを向上させるための、動的リフレクションと多様な思考を統合したフレームワークであるDRDTを提案する。協調的なコンテキスト内デモンストレーション、複数の側面にわたる好みの抽象化、反復的なプローブ・批判・リフレクションのプロセスを活用することで、DRDTは3つのデータセットにおいてGPT-Turbo-3.5およびVicuna-7bやOpenChat-7bといった7Bパラメータモデルを上回るNDCG@10性能を達成する。

ABSTRACT

The rise of Large Language Models (LLMs) has sparked interest in their application to sequential recommendation tasks as they can provide supportive item information. However, due to the inherent complexities of sequential recommendation, such as sequential patterns across datasets, noise within sequences, and the temporal evolution of user preferences, existing LLM reasoning strategies, such as in-context learning and chain-of-thought are not fully effective. To address these challenges, we introduce a novel reasoning principle: Dynamic Reflection with Divergent Thinking within a retriever-reranker framework. Our approach starts with a collaborative in-context demonstration retriever, which collects sequences exhibiting collaborative behaviors as in-context examples. Following this, we abstract high-level user preferences across multiple aspects, providing a more nuanced understanding of user interests and circumventing the noise within the raw sequences. The cornerstone of our methodology is dynamic reflection, a process that emulates human learning through probing, critiquing, and reflecting, using user feedback to tailor the analysis more effectively to the target user in a temporal manner. We evaluate our approach on three datasets using six pre-trained LLMs. The superior performance observed across these models demonstrates the efficacy of our reasoning strategy, notably achieved without the need to fine-tune the LLMs. With our principle, we managed to outperform GPT-Turbo-3.5 on three datasets using 7b models e.g., Vicuna-7b and Openchat-7b on NDCG@10. This research not only highlights the potential of LLMs in enhancing sequential recommendation systems but also underscores the importance of developing tailored reasoning strategies to fully harness their capabilities.

研究の動機と目的

• 順序推薦におけるユーザーの好みの変化、ノイズ、協調的信号を捉えるために、従来のプロンプト戦略（コンテキスト内学習やチェーン・オブ・トゥークン）の限界を是正すること。
• 微調整を伴わず、LLMが進化するユーザーの好みについて効果的に推論できる推論フレームワークの開発。
• 協調的行動パターンとユーザー固有の好みの抽象化を統合することで、ゼロショットLLMの順位付け性能を向上させること。
• 反復的リフレクションメカニズムが、標準的なプロンプト戦略を超えてLLMの推論をどのように向上させるかの探求。

提案手法

• リtriever-ランクラーフレームワークを採用し、リtrieverがデータセット内から類似した協調的行動を示すシーケンスを収集する。
• 多様な思考を用いて、複数の側面にわたる高レベルのユーザー好みを抽象化することで、元のシーケンスからのノイズを低減し、ユーザー関心の微細な理解を可能にする。
• 動的リフレクションは、プローブ・批判・リフレクションのループとして実装される：LLMが予測を生成し、特定の位置での正解アイテムと照合して評価し、理解を段階的に改善する。
• リフレクションプロセスは時系列的に根拠づけられており、位置s-4までの履歴シーケンスを用い、s-3、s-2などの位置で予測をテストすることで、好みの時間的進化を模倣する。
• リフレクション中に正解アイテムをアンカーとして使用することで、幻覚の蓄積を回避し、実際のユーザー行動と整合性を保つ。
• 微調整を一切行わず、プロンプト工学とリtrievalに依存する6つの事前学習済みLLM（Vicuna-7bやGPT-Turbo-3.5を含む）に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 動的リフレクションと多様な思考に基づく推論戦略は、微調整なしにゼロショットLLMの順序推薦性能を向上させることができるか？
• RQ2 協調的コンテキスト内デモンストレーションのリtrievalは、LLMベースの推薦において他者との協調的信号を効果的に捉えられるか？
• RQ3 複数の側面にわたる好みの抽象化は、ユーザー行動シーケンスのノイズをどの程度軽減できるか？
• RQ4 動的リフレクションステップ数が順位付け性能に与える影響は何か？最適なリフレクション頻度は何か？
• RQ5 DRDTは、プレーンテキスト、ICL、ゼロショットチェーン・オブ・トゥークンといった標準的なプロンプト戦略に比べ、時間的好みの進化をどの程度よく捉えられるか？

主な発見

• DRDTは、Vicuna-7b や OpenChat-7b といった7Bパラメータモデルを用いて、3つのデータセットすべてでGPT-Turbo-3.5を上回り、NDCG@10が向上した。
• Recall@10およびNDCG@10の性能指標は、動的リフレクションステップ数の増加に伴い上昇し、文脈長の制約により3ステップでピークに達した。
• ケーススタディでは、DRDTが正解アイテム（Judge Dredd）を1位に順位付けした一方、プレーンテキストおよびCOT戦略は、歴史的インタラクションの再表現に回帰していた。
• ICLはタスク理解を向上させたが、パーソナライズドな好みの微細な側面を完全に捉えるには至らず、履歴との類似性に基づいて順位付けを行った。
• 動的リフレクションメカニズムにより、LLMは正解フィードバックを用いて段階的にプローブと批判を繰り返すことで、より一貫性があり的確な推論パスを生成できた。
• 実際のユーザー行動にリフレクションをアンカーリングすることで、幻覚やノイズを効果的に低減し、時間経過に伴う推論のずれを回避できた。