[論文レビュー] Chat-REC: Towards Interactive and Explainable LLMs-Augmented Recommender System

Yunfan Gao, Tao Sheng+4 more|arXiv (Cornell University)|Mar 25, 2023

Topic Modeling被引用数 64

ひとこと要約

Chat-Rec は、インコンテキスト・プロンプトを介して推奨システムを LLMs で拡張し、クロスドメインおよびコールドスタート対応を含む、複数ラウンドの対話型で説明可能な推奨を実現します。

ABSTRACT

Large language models (LLMs) have demonstrated their significant potential to be applied for addressing various application tasks. However, traditional recommender systems continue to face great challenges such as poor interactivity and explainability, which actually also hinder their broad deployment in real-world systems. To address these limitations, this paper proposes a novel paradigm called Chat-Rec (ChatGPT Augmented Recommender System) that innovatively augments LLMs for building conversational recommender systems by converting user profiles and historical interactions into prompts. Chat-Rec is demonstrated to be effective in learning user preferences and establishing connections between users and products through in-context learning, which also makes the recommendation process more interactive and explainable. What's more, within the Chat-Rec framework, user's preferences can transfer to different products for cross-domain recommendations, and prompt-based injection of information into LLMs can also handle the cold-start scenarios with new items. In our experiments, Chat-Rec effectively improve the results of top-k recommendations and performs better in zero-shot rating prediction task. Chat-Rec offers a novel approach to improving recommender systems and presents new practical scenarios for the implementation of AIGC (AI generated content) in recommender system studies.

研究の動機と目的

• 従来の推奨システムにおけるインタラクティビティと説明性のギャップに取り組む動機を提示する。
• 文脈からユーザーの嗜好を学習するためにLLMsを活用する、プロンプトベースのインターフェースを提案する。
• アイテムドメインを跨いでユーザ嗜好を転送することでクロスドメイン推奨を実現する。
• 外部情報統合を用いて新規アイテムのコールドスタート課題に対処する。
• 実世界データを用いてtop-k推奨とzero-shot rating predictionの有効性をデモンストレーションする。

提案手法

• 従来のレコメンダーとLLMsを橋渡しするために、ユーザープロファイルと履歴をChatGPTベースの推奨を導くプロンプトへ変換する。
• 入力主導のプロンプト作成機構を用い、ユーザー履歴、プロフィール、クエリ、対話履歴を統合して個別化されたプロンプトを生成する。
• インコンテキスト学習と推論を通じて、LLMsに候補集合のフィルタリングと再ランク付けをさせる。
• 外部アイテム情報を取り入れて新規アイテムの埋め込みを生成し、類似アイテムを取得することでコールドスタートに対応する。
• 映画の嗜好に基づき、LLMが非映画アイテムを推奨することでクロスドメイン転送をデモンストレーションする。
• MovieLens 100Kで複数の GPT-3.5 ファミリーモデルを用いた top-k 推奨とzero-shot rating predictionを評価する。

Figure 1 : Overview of Chat-Rec . The left side shows a dialogue between a user and ChatGPT. The middle side shows the flowchart to how Chat-Rec links traditional recommender systems with conversational AI such as ChatGPT. The right side describes the specific judgment in the process.

実験結果

リサーチクエスチョン

• RQ1 追加の訓練を要せず、イン-context学習を強化したLLMsは top-k 推奨性能を改善できるか？
• RQ2 プロンプト設計は、対話的で説明可能な推奨の品質にどのように影響するか？
• RQ3 このシステムはクロスドメインおよびコールドスタート推奨を効果的にサポートできるか？
• RQ4 LLMによる最終ランキングで、候補集合とその順序はどのような役割を果たすか？
• RQ5 異なるLLMバックボーン（GPT-3.5系の変種）は、推奨および評価予測タスクで著しく異なるか？

主な発見

モデル	適合率	再現率	NDCG
LightFM	0.2830	0.1410	0.2846
LightGCN	0.3030	0.1455	0.3425
Chat-Rec (gpt-3.5-turbo)	0.3103	0.1279	0.3696
Chat-Rec (text-davinci-003)	0.3240 (+6.93%)	0.1404 (-3.51%)	0.3802 (+11.01%)
Chat-Rec (text-davinci-002)	0.3031	0.1240	0.3629

• Chat-Recは、MovieLens 100Kにおいて、テストされたGPT-3.5モデル全体でLightGCNを上回るトップ-k推奨指標を改善する。
• text-davinci-003は、top-kの最良結果を、precision 0.3240、recall 0.1404、NDCG 0.3802で達成する。
• 評価予測では、text-davinci-003がRMSE 0.785およびMAE 0.593で tested models中で最良を示す。
• アブレーションでは、プロンプト設計とトップ-1ベースライン背景の包含がNDCGに有意な影響を与え、温度パラメータとプロンプト順序も性能に影響する。
• Chat-Recは大規模な候補集合の再ランキングと洗練を大幅に行い、推奨器の明示的な訓練なしで関連性を向上させる。

Figure 2 : Case study of interactive recommendation. It shows two conversations between different users and LLM . Where the user profile and historical users are converted into corresponding prompts for personalized recommendations, but the input of this part of the prompts is not visible to the use