[論文レビュー] A Bi-Step Grounding Paradigm for Large Language Models in Recommendation Systems

Keqin Bao, Jizhi Zhang+7 more|arXiv (Cornell University)|Aug 16, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、最初に指示微調整を用いて大規模言語モデル（LLMs）を推薦空間にグランドングし、意味的なアイテム記述を生成する段階を経て、次に人気度や協調フィルタリングなどの統計的信号を用いてそれらを実際のアイテムにマッピングする二段階のグランドリングパラダイム、BIGRecを提案する。この手法は、少量の few-shot 微調整ですでに最先端の性能を達成し、完全データの教師ありモデルを上回り、LLMsが統計的事前知識を組み込むことで著しく利益を享受することを示している。

ABSTRACT

As the focus on Large Language Models (LLMs) in the field of recommendation intensifies, the optimization of LLMs for recommendation purposes (referred to as LLM4Rec) assumes a crucial role in augmenting their effectiveness in providing recommendations. However, existing approaches for LLM4Rec often assess performance using restricted sets of candidates, which may not accurately reflect the models' overall ranking capabilities. In this paper, our objective is to investigate the comprehensive ranking capacity of LLMs and propose a two-step grounding framework known as BIGRec (Bi-step Grounding Paradigm for Recommendation). It initially grounds LLMs to the recommendation space by fine-tuning them to generate meaningful tokens for items and subsequently identifies appropriate actual items that correspond to the generated tokens. By conducting extensive experiments on two datasets, we substantiate the superior performance, capacity for handling few-shot scenarios, and versatility across multiple domains exhibited by BIGRec. Furthermore, we observe that the marginal benefits derived from increasing the quantity of training samples are modest for BIGRec, implying that LLMs possess the limited capability to assimilate statistical information, such as popularity and collaborative filtering, due to their robust semantic priors. These findings also underline the efficacy of integrating diverse statistical information into the LLM4Rec framework, thereby pointing towards a potential avenue for future research. Our code and data are available at https://github.com/SAI990323/Grounding4Rec.

研究の動機と目的

• 限られた候補サンプリングを超えた推薦システムにおけるLLMsの包括的ランク付け能力を調査すること。
• 既存のLLM4Rec手法が小規模な候補集合での評価にとどまっているというギャップを解決し、真のグローバルランク付け性能を反映しない問題を解消すること。
• LLMsが意味的に意味のあるアイテムトークンを生成し、それらを現実世界のアイテムにグランドングできる二段階のグランドリングフレームワークを開発すること。
• 人気度や協調フィルタリングなどの統計的情報が、LLMベースの推薦において精度を向上させるために効果的に統合できるかを調査すること。
• LLMsが限られたデータから効果的に学習できるか、および強い意味的事前知識があるため、より多くのデータによる利得が限界に達するかどうかを評価すること。

提案手法

• 最初の段階では、ユーザーの好みデータを用いた指示微調整により、LLMsをアイテムの記述トークン列を生成するように微調整する。この段階では、実在のアイテムと架空のアイテムの両方を含む。
• 2番目の段階では、生成された記述と事前学習済みのデコーダーモデルからのアイテム埋め込みとの間の意味的類似度を計算することで、生成されたトークン列を実際のアイテムにマッピングする。
• 人気度や協調フィルタリング信号などの統計的情報は、式 (3) で定義される重み付き類似度スコア関数を通じて2番目の段階に組み込まれる。
• このフレームワークは、最小限のラベル付きデータでLLMsを推薦空間にグランドングすることで、少量の監視情報でも効果的な生成を可能にする、少データ学習をサポートする。
• この手法は、LLM4Recパイプラインへの多様な統計的特徴の柔軟な統合を可能とし、LLMのコアアーキテクチャを変更せずに推薦の関連性を向上させる。
• 推論段階ではビームサーチ戦略を用いて多様な候補アイテム記述を生成し、その後、アイテム埋め込み空間から類似度が最も高い実際のアイテムを検索する。

実験結果

リサーチクエスチョン

• RQ1 LLMsが指示微調整により推薦空間にグランドングされた場合、グローバルランク付け性能が強力に達成できるか？
• RQ2 LLMベースの推薦の性能は、訓練データ量の増加に伴ってどのように変化するか。また、強い意味的事前知識があるため、統計的パターン（人気度や協調フィルタリング）の学習に限界が生じるか？
• RQ3 人気度や協調フィルタリングなどの統計的情報が、LLMが生成したアイテム記述を現実のアイテムにグランドングする段階で、どの程度性能向上に寄与するか？
• RQ4 統計的情報をLLM4Recパイプラインに統合することで、従来のモデルと比較してより大きな性能向上が得られるか？
• RQ5 二段階のグランドリングフレームワークは、スケーラブルかつ効率的な方法で意味的生成と現実世界のアイテム検索を効果的にバランスさせることができるか？

主な発見

• BIGRecはたった1,024件のサンプルでの学習でも、SASRec や Caser、DROS といった従来モデルが全データで学習した結果を、特に大きなK値におけるNDCG@KとRecall@Kの指標で上回っている。
• BIGRecに人気度情報を組み込むことで、一貫した性能向上が得られ、特にK値が高い場合に顕著で、単に人気度を推薦信号として使う場合よりも顕著に優れている。
• グランドリング機構を通じて協調フィルタリング信号を追加すると、従来のモデルよりもBIGRecでの性能向上が顕著に大きくなる。これは、LLMsが意味的情報に依存しており、補完的な統計的特徴からより大きな恩恵を受けることを示している。
• BIGRecにおける訓練データ量の増加によるマージナルな利得は限定的である。これは、推論段階でLLMsが人気度や協調フィルタリングのような統計的パターンよりも意味的事前知識を優先していることを示唆している。
• 二段階のグランドリングフレームワークは、意味的生成と実際のアイテム検索を効果的に分離できており、統計的情報の統合を可能にしながらも、LLMの生成能力を保持している。
• このフレームワークは、極めて少ない微調整データでも高い性能を維持するという点で、少データ一般化能力に優れており、その効率性とスケーラビリティを示している。