[論文レビュー] Integrating Large Language Models into Recommendation via Mutual Augmentation and Adaptive Aggregation

Sichun Luo, Yuxuan Yao+10 more|arXiv (Cornell University)|Jan 25, 2024

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、相互のデータおよびプロンプト増強を経て予測の適応的集約を行うことで、従来の協調/順序モデルと大規模言語モデル（LLMs）を統合的に活用するモデルに依存しないフレームワーク、Llama4Recを提案する。3つの実世界データセットにおける実験結果は、強力なベースラインを常に大きく上回る一貫した性能向上を示し、伝統的アプローチとLLMベースの推薦手法の協調的統合の有効性を裏付けている。

ABSTRACT

Conventional recommendation methods have achieved notable advancements by harnessing collaborative or sequential information from user behavior. Recently, large language models (LLMs) have gained prominence for their capabilities in understanding and reasoning over textual semantics, and have found utility in various domains, including recommendation. Conventional recommendation methods and LLMs each have their strengths and weaknesses. While conventional methods excel at mining collaborative information and modeling sequential behavior, they struggle with data sparsity and the long-tail problem. LLMs, on the other hand, are proficient at utilizing rich textual contexts but face challenges in mining collaborative or sequential information. Despite their individual successes, there is a significant gap in leveraging their combined potential to enhance recommendation performance. In this paper, we introduce a general and model-agnostic framework known as extbf{L}arge extbf{la}nguage model with extbf{m}utual augmentation and extbf{a}daptive aggregation for extbf{Rec}ommendation ( extbf{Llama4Rec}). Llama4Rec synergistically combines conventional and LLM-based recommendation models. Llama4Rec proposes data augmentation and prompt augmentation strategies tailored to enhance the conventional model and LLM respectively. An adaptive aggregation module is adopted to combine the predictions of both kinds of models to refine the final recommendation results. Empirical studies on three real-world datasets validate the superiority of Llama4Rec, demonstrating its consistent outperformance of baseline methods and significant improvements in recommendation performance.

研究の動機と目的

• 従来の協調/順序モデルにLLM駆動のデータ増強を適用することで、推薦システムにおけるデータスパarsity問題とロングテイル問題を緩和すること。
• プロンプト工学を用いて協調的および順序的信号を注入することで、LLMのユーザー・アイテム相互作用認識の欠如を補い、LLMベースの推薦を改善すること。
• 単方向の統合ではなく、従来モデルとLLMsの間で双方向に強化が可能な汎用的でモデルに依存しないフレームワークを構築すること。
• 両モデルタイプからの予測を適応的集約により統合する結果レベルのファージョンを検討し、最終的な推薦品質を最適化すること。
• データレベル、プロンプトレベル、結果レベルの向上を統合的に扱う、単一で統一されたフレームワークとしての包括的ソリューションを提供すること。

提案手法

• Llama4Recは、従来の推薦モデル向けに合成されたユーザー・アイテム相互作用データを生成するデータ増強を採用し、モデルの頑健性と一般化性能を向上させる。
• プロンプト増強を適用し、ユーザー行動履歴とアイテムメタデータをLLMのプロンプトに組み込むことで、LLMが協調的および順序的パターンを考慮して推論できるようにする。
• 信頼性スコアと信頼度に基づいて、従来モデルとLLMの予測を動的に統合する学習可能な適応的集約モジュールを採用する。
• モデルに依存しないアプローチを採用しており、LightGCN や BERTベースの順序モデルなどのさまざまなバックボーンモデルと統合可能である。
• LLaMA-2モデルに対してタスク固有のプロンプトを用いたインstructチューニングを実施し、LLMを推薦タスクの目的に適合させる。
• 訓練プロセスでは、増強されたインstructデータセット上でLLMをファインチューニングし、モデルサイズとデータスケールに応じたハイパーパrameterを最適化する。

実験結果

リサーチクエスチョン

• RQ1 従来の推薦モデルとLLMとの間で相互増強を実施することで、多様な推薦タスクにおいて一貫した性能向上が達成できるか？
• RQ2 プロンプト工学による協調的および順序的信号の統合が、LLMベースの推薦品質にどのように寄与するか？
• RQ3 従来モデルとLLMベースのモデルからの予測を適応的集約することで、個々のモデルや単純平均化よりも優れた性能が得られるか、その程度は？
• RQ4 モデルサイズとインstructデータのスケールが、フレームワーク内でのLLM部の性能と効率に与える影響は？
• RQ5 提案されたフレームワークは、タスク固有のアーキテクチャ変更を加えずに、異なるデータセットや推薦シナリオに一般化可能か？

主な発見

• Llama4Recは、Bookcrossing、ML-1M、Yelpの3つの実世界データセットにおいて、強力なベースラインを常に顕著に上回る性能向上を達成し、汎用性の高さを示している。
• LLaMA-2 (13B) モデルは7Bバージョンを上回る性能を示すが、その向上は限定的であり、モデルサイズの増大に伴い収益逓減の傾向が顕著である。
• インstructチューニングの例数を2.5Kから12.5Kに増加させることで、特に直接的推薦タスクにおいて顕著な性能向上が得られ、インstructチューニングにおけるデータスケールの重要性を示している。
• 16台のA800 GPUを用いてLLaMA-2 7Bモデルを約25Kのインstruct文で訓練するには約1.94時間を要し、1アイテムあたりの推論時間は約0.059秒であり、計算コストが非常に高いことが判明した。
• 適応的集約モジュールは、両モデルタイプからの予測を効果的に統合し、単独のモデルや単純平均化よりも優れた性能を実現している。
• 高い計算コストを伴うが、効率的な推論技術や並列処理の進展に伴い、将来的な展開に期待が持てる。