[論文レビュー] A Large Language Model Enhanced Conversational Recommender System

Yue Feng, Shuchang Liu+6 more|arXiv (Cornell University)|Aug 11, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、4段階のワークフローを通じて、サブタスク管理、エキスパートモデルの協働、応答生成に大規模言語モデル（LLM）を統合する、LLM強化型対話型レコメンデーションシステム（LLMCRS）を提案する。スキーマベースの指示、デモンストレーション、動的モデルマッチング、要約ベースの応答生成を用い、強化学習ファインチューニングをさらに適用することで、GoRecDialおよびTG-ReDialベンチマークで最先端の性能を達成した。

ABSTRACT

Conversational recommender systems (CRSs) aim to recommend high-quality items to users through a dialogue interface. It usually contains multiple sub-tasks, such as user preference elicitation, recommendation, explanation, and item information search. To develop effective CRSs, there are some challenges: 1) how to properly manage sub-tasks; 2) how to effectively solve different sub-tasks; and 3) how to correctly generate responses that interact with users. Recently, Large Language Models (LLMs) have exhibited an unprecedented ability to reason and generate, presenting a new opportunity to develop more powerful CRSs. In this work, we propose a new LLM-based CRS, referred to as LLMCRS, to address the above challenges. For sub-task management, we leverage the reasoning ability of LLM to effectively manage sub-task. For sub-task solving, we collaborate LLM with expert models of different sub-tasks to achieve the enhanced performance. For response generation, we utilize the generation ability of LLM as a language interface to better interact with users. Specifically, LLMCRS divides the workflow into four stages: sub-task detection, model matching, sub-task execution, and response generation. LLMCRS also designs schema-based instruction, demonstration-based instruction, dynamic sub-task and model matching, and summary-based generation to instruct LLM to generate desired results in the workflow. Finally, to adapt LLM to conversational recommendations, we also propose to fine-tune LLM with reinforcement learning from CRSs performance feedback, referred to as RLPF. Experimental results on benchmark datasets show that LLMCRS with RLPF outperforms the existing methods.

研究の動機と目的

• 単一の対話インターフェース内で、好みの引き出し、レコメンデーション、説明、アイテム検索などの複数のサブタスクを効果的に管理する課題に対処すること。
• 現在のLLMベースの対話型レコメンデーションシステム（CRS）が、効果的なサブタスク管理とサブタスク固有の最適化を欠いているという制限を克服すること。
• LLMを自然言語インターフェースとして活用しながら、一貫性、流暢さ、情報量の高さを保証することで、応答品質を向上させること。
• 対話型レコメンデーションシステム（CRS）のフィードバックに基づく構造的プロンプトと強化学習ファインチューニングにより、システムの制御性とパフォーマンスを向上させること。
• LLMの推論と専門的なエキスパートモデルを統合した、統合的かつ柔軟なフレームワークを構築し、エンドツーエンドの対話型レコメンデーションを実現すること。

提案手法

• 対話型レコメンデーションワークフローを4段階に分割する：サブタスク検出、モデルマッチング、サブタスク実行、応答生成。
• サブタスク検出の標準化とタスク間一般化・理解の向上を図るために、スキーマベースの指示を採用する。
• 分布内での対話例を用いたデモンストレーションベースの指示を活用し、LLMが適切な出力を生成するように誘導する。
• 検出された各サブタスクに最も適したエキスパートモデルを選択するための動的サブタスクおよびモデルマッチング機構を導入する。
• 専門的なエキスパートモデル（例：好み抽出やアイテム検索用）を呼び出すハイブリッド推論エンドポイントを通じてサブタスクを実行する。
• LLMを用いて前段階の結果を要約し、一貫性があり情報豊富な応答を合成する要約ベースの生成を適用する。

実験結果

リサーチクエスチョン

• RQ1 LLMをどのように効果的に活用することで、対話型レコメンデーションシステムにおける複数のサブタスクを管理できるか？
• RQ2 スキーマベース、デモンストレーションベース、要約ベースのプロンプティング戦略の中で、どれがLLMの出力を正確かつ文脈的に適切なものに導くのに最も効果的か？
• RQ3 サブタスクとエキスパートモデルとの間で動的マッチングを実施することで、個々のレコメンデーションサブタスクのパフォーマンスが向上するか？
• RQ4 CRSのパフォーマンスフィードバックに基づく強化学習ファインチューニングは、システム全体の有効性をどの程度向上させるか？
• RQ5 エキスパートモデルとLLMを統合するアプローチは、エンドツーエンドのLLMオンリーパラダイムと比較して、レコメンデーションの正確性と応答品質の面で優れているか？

主な発見

• 強化学習ファインチューニング（RLPF）を適用したLLMCRSは、GoRecDialおよびTG-ReDialで最先端のパフォーマンスを達成し、すべての指標で既存手法を上回った。
• アブレーションスタディの結果、スキーマベースの指示を除いた場合（-w/o SI）には、HIT@10が0.2963に低下し、MRR@10が0.1228に、NDCG@10が0.1674にまで低下した。これは、タスク理解におけるその重要性を示している。
• デモンストレーションを除いた場合（-w/o DI）には、BLEU-1が0.0528から0.0412に、Distinct-1が0.1659から0.1588に低下した。これは、応答品質とフォーマットの一貫性を維持する上でデモンストレーションの価値を裏付けている。
• 要約ベースの生成を除いた場合（-w/o SG）には、NDCG@10が0.1691に低下し、BLEU-1が0.0460にまで低下した。これは、構造的な要約が応答の整合性とレコメンデーションの正確性を向上させることを示している。
• ケーススタディでは、LLMCRSがユーザーの好み（例：「スコセッシ」や「ドラマ」）を正しく推論し、「シュインズラーのリスト」を情報豊富で自然な応答とともにレコメンドしているのに対し、ベースラインのTG-ReDialは、レコメンデーションと応答品質の両面で失敗している。
• システムのパフォーマンス向上は、LLMの推論、エキスパートモデルの特化、およびインstructチューニングの相乗効果に起因しており、特にサブタスク検出と応答生成の分野で顕著である。