[論文レビュー] Exploring the Impact of Large Language Models on Recommender Systems: An Extensive Review

Arpita Vats, Vinija Jain+2 more|arXiv (Cornell University)|Feb 11, 2024

Topic Modeling被引用数 4

ひとこと要約

本論文は、推薦システムにおける大規模言語モデル（LLMs）の包括的レビューを提示し、体系的な分類法を提唱するとともに、プロンプト工学、ファインチューニング、リtrieval増強生成などの技術を分析している。LLMsがパーソナライゼーション、説明可能性、クロスドメイン適合性を向上させることを示しており、DEALRecは2%のデータ効率を達成し、RLMRecは協調フィルタリングにおける意味的整合性を向上させている。

ABSTRACT

The paper underscores the significance of Large Language Models (LLMs) in reshaping recommender systems, attributing their value to unique reasoning abilities absent in traditional recommenders. Unlike conventional systems lacking direct user interaction data, LLMs exhibit exceptional proficiency in recommending items, showcasing their adeptness in comprehending intricacies of language. This marks a fundamental paradigm shift in the realm of recommendations. Amidst the dynamic research landscape, researchers actively harness the language comprehension and generation capabilities of LLMs to redefine the foundations of recommendation tasks. The investigation thoroughly explores the inherent strengths of LLMs within recommendation frameworks, encompassing nuanced contextual comprehension, seamless transitions across diverse domains, adoption of unified approaches, holistic learning strategies leveraging shared data reservoirs, transparent decision-making, and iterative improvements. Despite their transformative potential, challenges persist, including sensitivity to input prompts, occasional misinterpretations, and unforeseen recommendations, necessitating continuous refinement and evolution in LLM-driven recommender systems.

研究の動機と目的

• LLMを用いた推薦システムを、応用タイプとアーキテクチャの観点から体系的に分類するための分類法を確立すること。
• プロンプト工学、ファインチューニング、リtrieval増強生成といったコア技術を体系化し、推薦タスクにおける分析を行うこと。
• 説明可能性の欠如や一般化性能の低さといった、従来の推薦システムの主な課題を、LLMの能力を活用して特定・解決すること。
• 公平性、説明可能性、ランク付け品質に注目した新しいベンチマークを通じて、LLMの推薦性能を評価すること。
• 現在の進展と未解決の課題を統合することで、研究者および実務家がLLMを効果的に導入するのを支援すること。

提案手法

• LLMを活用する推薦システムの階層的分類法を提案し、LLM駆動型、オフザシェル型、順序型、会話型、パーソナライズド型、知識グラフ型、再ランク型、プロンプト工学型、ファインチューニッドLLMシステムを含む。
• RLMRecのような特化型LLMベースのモデルを導入・評価し、クロスビュー整合を用いてLLMの意味的表現を協調信号と一致させることで、性能を向上させた。
• DEALRecでは、影響度と作業負荷スコアを用いたデータプリーニングにより、訓練データの2%でのファインチューニングで、性能を維持した。
• 情報検索および推薦タスクにおけるLLMの性能向上を目的に、21のタスクにまたがる43のデータセットを統合したインstructチューニングデータセット（INTERS）を構築した。
• 会話型推薦システムにおける相互作用の評価と強化に、LLMベースのユーザーサイミュレータ（例：iEvaLM）と蒸留技術を適用した。
• FaiRLLMを導入し、8つの感受性属性を含むベンチマークを構築することで、LLMが生成する推薦における公平性を評価した。その結果、ChatGPTのようなモデルは音楽や映画の推薦において、特定の感受性属性に偏りを示すことが判明した。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、推薦システム全体の文脈において、どのように体系的に分類・分類可能か？
• RQ2 プロンプト、ファインチューニング、リtrieval増強生成を含む、LLMを推薦パイプラインに統合するための最も効果的な技術は何か？
• RQ3 LLMsは、推薦タスクにおける説明可能性、パーソナライゼーション、クロスドメイン一般化をどの程度向上できるか？
• RQ4 従来のモデルと比較して、LLMベースのシステムは、公平性、透明性、インタラクティブな推薦シナリオにおいて、どのように性能を発揮するか？
• RQ5 LLMを生産環境の推薦システムに導入するにあたり、主な課題は何か。また、新規アーキテクチャと評価フレームワークを用いて、それらの課題をどのように軽減できるか？

主な発見

• LLMsは、動的でスパースなデータ環境において、文脈理解力とゼロ/少数ショット一般化性能を著しく向上させ、従来のモデルを上回っている。
• DEALRecは、訓練データの2%でのみファインチューニングを実施したが、フルデータでのファインチューニングと同等の性能を達成し、トレーニング時間とリソースコストを95%以上削減した。
• RLMRecは、クロスビュー整合を用いてLLMが生成する意味的表現と協調信号を一致させることで、ベンチマークデータセット上で性能を向上させた。
• FaiRLLMは、LLMが生成する推薦において、継続的な公平性の問題を明らかにした。ChatGPTのようなモデルは、音楽や映画の推薦において特定の感受性属性に偏りを示していた。
• iEvaLMは、LLMベースのユーザーサイミュレータが、会話型推薦システムの堅牢でインタラクティブな評価を可能にし、シミュレーションの正確性と説明可能性を向上させることを示した。
• Ranking GPTや類似のインstructチューニングモデルは、パassage再ランクベンチマークで最先端の性能を達成し、蒸留技術により特化型LLMの効率的導入が可能になった。