[論文レビュー] LLMRec: Benchmarking Large Language Models on Recommendation Task

Junling Liu, Chao Liu+9 more|arXiv (Cornell University)|Aug 23, 2023

Topic Modeling被引用数 6

ひとこと要約

LLMRecは、プロンプトと教師あり微調整を用いて、スコア予測、順序付き推薦、直接推薦、説明生成、レビュー要約の5つの推薦タスクにおいて大規模言語モデル（LLMs）を評価するベンチマークフレームワークを導入する。結果から、LLMsは説明可能性タスクでは最先端のモデルと同等の性能を示すが、順序付き推薦や直接推薦のような精度に基づくタスクでは苦戦しており、より良い微調整とデータの多様性の向上が求められることが示された。

ABSTRACT

Recently, the fast development of Large Language Models (LLMs) such as ChatGPT has significantly advanced NLP tasks by enhancing the capabilities of conversational models. However, the application of LLMs in the recommendation domain has not been thoroughly investigated. To bridge this gap, we propose LLMRec, a LLM-based recommender system designed for benchmarking LLMs on various recommendation tasks. Specifically, we benchmark several popular off-the-shelf LLMs, such as ChatGPT, LLaMA, ChatGLM, on five recommendation tasks, including rating prediction, sequential recommendation, direct recommendation, explanation generation, and review summarization. Furthermore, we investigate the effectiveness of supervised finetuning to improve LLMs' instruction compliance ability. The benchmark results indicate that LLMs displayed only moderate proficiency in accuracy-based tasks such as sequential and direct recommendation. However, they demonstrated comparable performance to state-of-the-art methods in explainability-based tasks. We also conduct qualitative evaluations to further evaluate the quality of contents generated by different models, and the results show that LLMs can truly understand the provided information and generate clearer and more reasonable results. We aspire that this benchmark will serve as an inspiration for researchers to delve deeper into the potential of LLMs in enhancing recommendation performance. Our codes, processed data and benchmark results are available at https://github.com/williamliujl/LLMRec.

研究の動機と目的

• 市販のLLMsおよび微調整済みLLMsが多様な推薦タスクをどれだけ効果的に処理できるかを調査すること。
• タスク固有のアーキテクチャを用いずに、事前学習済み知識から推薦シナリオへの一般化能力がどの程度達成できるかを評価すること。
• プロンプト工学と教師あり微調整の有効性を評価し、LLMsの命令遵守性と推薦パフォーマンスの向上に寄与するかを検証すること。
• 複数の指標と定性的基準に基づいて、LLMsと既存の推薦モデルを比較すること。
• 今後のLLMベースのレコメンデーションシステム研究のための標準化されたベンチマークを提供すること。

提案手法

• フレームワークは、ゼロショットプロンプティングを用いて、スコア予測、順序付き推薦、直接推薦、説明生成、レビュー要約の5つの推薦タスクにLLMsを適応させる。
• 高品質でタスク固有のプロンプトを設計し、LLMsの世界知識および言語的知識を活用するとともに、命令遵守を保証する。
• P-tuning V2を用いて教師あり微調整を実施し、限られたデータと計算リソースでも推薦タスクに適応させる。
• 評価には自動指標と定性的分析を併用し、Amazon Beautyデータセットを用いた実験を実施する。
• 比較分析にはP5などの最先端モデルを含み、微調整パラメータ、トレーニングデータサイズ、データ多様性に関するアブレーションスタディを実施する。
• 定性的評価は、要約の質と説明の整合性に焦点を当て、意味的理解と推論能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 市販のLLMsは、タスク固有の微調整なしで推薦タスクを効果的に実行できるか？
• RQ2 教師あり微調整は、推薦タスクにおけるLLMsのパフォーマンスと命令遵守性をどの程度向上させるか？
• RQ3 精度に基づくタスクと説明可能性に基づくタスクの両方において、LLMsは既存のSOTAモデルと比べてどの程度の性能を示すか？
• RQ4 プロンプト設計、トレーニングデータの多様性、モデルパラメータは、LLMsの推薦タスクにおけるパフォーマンスにどのような役割を果たすか？
• RQ5 LLMsはどの程度、意味的で整合的かつ事実に正確な説明や要約を推薦文脈で生成できるか？

主な発見

• ChatGPT や ChatGLM-6B などのLLMsは、順序付き推薦や直接推薦のような精度に基づくタスクで中程度のパフォーマンスを示しており、さらなる適応なしでは限界があることが示された。
• ChatGPT は説明生成およびレビュー要約タスクで最先端の手法を上回り、ベースラインより明確でより妥当な結果を生成した。
• ChatGLM-6B は、すべてのタスクで自動指標スコアが ChatGPT よりも高く、プロンプト指示に適合しやすく、パーソナライズ性が向上していることが示唆された。
• LLMsとSOTAモデルとの間の精度に基づくタスクにおけるパフォーマンスギャップは、P5などのモデルと比較して微調整パラメータが少なく、トレーニングデータ量が少ないことに起因している。
• データ多様性とマルチタスク学習は、モデルの一般化能力を著しく向上させることが示された。P5の優れた性能は、50倍のトレーニングデータ量とマルチプロンプトサンプリングによるものである。
• 定性的分析から、ChatGPT や ChatGLM はキーレビュー内容を的確に捉えた意味的で整合性のある要約を生成する一方、LLaMA は要約を行わず、入力を単に複製するにとどまった。