[論文レビュー] Recommender Systems in the Era of Large Language Models (LLMs)

Zihuai Zhao, Wenqi Fan+9 more|arXiv (Cornell University)|Jul 5, 2023

Topic Modeling被引用数 29

ひとこと要約

この論文は、LLMs が推奨システムに統合される方法の包括的な調査を提供し、事前学習、微調整、プロンプティングのパラダイムを扱い、今後の方向性を概説する。

ABSTRACT

With the prosperity of e-commerce and web applications, Recommender Systems (RecSys) have become an important component of our daily life, providing personalized suggestions that cater to user preferences. While Deep Neural Networks (DNNs) have made significant advancements in enhancing recommender systems by modeling user-item interactions and incorporating textual side information, DNN-based methods still face limitations, such as difficulties in understanding users' interests and capturing textual side information, inabilities in generalizing to various recommendation scenarios and reasoning on their predictions, etc. Meanwhile, the emergence of Large Language Models (LLMs), such as ChatGPT and GPT4, has revolutionized the fields of Natural Language Processing (NLP) and Artificial Intelligence (AI), due to their remarkable abilities in fundamental responsibilities of language understanding and generation, as well as impressive generalization and reasoning capabilities. As a result, recent studies have attempted to harness the power of LLMs to enhance recommender systems. Given the rapid evolution of this research direction in recommender systems, there is a pressing need for a systematic overview that summarizes existing LLM-empowered recommender systems, to provide researchers in relevant fields with an in-depth understanding. Therefore, in this paper, we conduct a comprehensive review of LLM-empowered recommender systems from various aspects including Pre-training, Fine-tuning, and Prompting. More specifically, we first introduce representative methods to harness the power of LLMs (as a feature encoder) for learning representations of users and items. Then, we review recent techniques of LLMs for enhancing recommender systems from three paradigms, namely pre-training, fine-tuning, and prompting. Finally, we comprehensively discuss future directions in this emerging field.

研究の動機と目的

• DNNベースの推奨システムがテキストを理解し、未見のタスクへ一般化する能力における限界を特定して研究の動機づけを行う。
• LLMs がユーザとアイテムの表現学習を強化する方法を要約する。
• 文献を pre-training、fine-tuning、prompting のパラダイムに整理し、今後の研究と実践を導く。
• RecSys に対する LLMs 活用の課題と今後の方向性を論じる。

提案手法

• 既存の LLM-empowered 推奨システムを、IDベースとテキスト情報を用いたアプローチに分類・整理する。
• LLMベースの手法を pre-training、fine-tuning、prompting の3パラダイムの下で要約する。
• レーティング予測、逐次推奨、説明可能/対話型推奨などの代表的な手法とタスクを強調する。
• 索引付け方式、アダプター、プロンプトベース学習などの方法論的側面を論じる。
• 課題を特定し、今後の研究方向を提案する。

実験結果

リサーチクエスチョン

• RQ1 RecSys において LLMs がユーザ/アイテムの表現を学習する代表的な方法は何か（IDベース vs テキスト情報）？
• RQ2 pre-training、fine-tuning、prompting のパラダイムは RecSys の性能と機能にどう寄与するか？
• RQ3 LLMs を推奨システムへ統合する際の主な課題と有望な方向性は何か？

主な発見

• LLMs は、従来のIDベースのアプローチを超える推奨タスクをサポートする、より豊かな言語理解と推論を可能にする。
• 三つの主要なパラダイム—pre-training、fine-tuning、prompting—が、LLMsを RecSys に適応させる中核ツールキットを成す。
• プロンプト手法、インコンテクスト学習、チェーン・オブ・ソート prompting は、推奨における推論と説明可能性を高める可能性がある。
• ファインチューニング戦略は、フルモデルからパラメータ効率的手法まで幅広く、性能と計算コストのバランスを取る。
• テキスト情報は特定の設定において、IDベースの表現を補完または凌駕し、タスク間でより良い一般化を可能にする。