[論文レビュー] Adapting Large Language Models by Integrating Collaborative Semantics for Recommendation

Bowen Zheng, Yupeng Hou+5 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、アイテムインデキシングにツリー構造のベクトル量子化法を用い、言語的および協調的意味を統合するLLMベースの推薦フレームワーク、LC-Recを提案する。意味的で離散的かつ衝突のないアイテムインデックスを学習し、統合的意味を考慮した特化型アライメントチューニングを施すことで、候補セットに依存せずに順序付き推薦で最先端の性能を達成する。

ABSTRACT

Recently, large language models (LLMs) have shown great potential in recommender systems, either improving existing recommendation models or serving as the backbone. However, there exists a large semantic gap between LLMs and recommender systems, since items to be recommended are often indexed by discrete identifiers (item ID) out of the LLM's vocabulary. In essence, LLMs capture language semantics while recommender systems imply collaborative semantics, making it difficult to sufficiently leverage the model capacity of LLMs for recommendation. To address this challenge, in this paper, we propose a new LLM-based recommendation model called LC-Rec, which can better integrate language and collaborative semantics for recommender systems. Our approach can directly generate items from the entire item set for recommendation, without relying on candidate items. Specifically, we make two major contributions in our approach. For item indexing, we design a learning-based vector quantization method with uniform semantic mapping, which can assign meaningful and non-conflicting IDs (called item indices) for items. For alignment tuning, we propose a series of specially designed tuning tasks to enhance the integration of collaborative semantics in LLMs. Our fine-tuning tasks enforce LLMs to deeply integrate language and collaborative semantics (characterized by the learned item indices), so as to achieve an effective adaptation to recommender systems. Extensive experiments demonstrate the effectiveness of our method, showing that our approach can outperform a number of competitive baselines including traditional recommenders and existing LLM-based recommenders. Our code is available at https://github.com/RUCAIBox/LC-Rec/.

研究の動機と目的

• LLMにおける言語的意味と推薦システムにおける協調的意味の間の意味的ギャップを解消すること。
• LLMが候補フィルタリングを経ずに、全アイテムセットから直接アイテム推薦を生成できるようにすること。
• アイテムの類似性を捉えながらも、衝突がなく拡張性のある意味的で明確なアイテムインデキシング機構を設計すること。
• 言語的意味と協調的意味をLLMに深く統合するアライメントチューニングタスクを構築すること。
• 2つの異なる意味的空間を接続することで、LLMの能力を順序付き推薦に完全に活用すること。

提案手法

• 均一な意味的マッピングを備えたツリー構造のベクトル量子化（VQ）法を提案し、離散的で意味的かつ矛盾のないアイテムインデックスを割り当てる。
• 各レベルが粗いものから細かいものへと意味的表現を精錬する階層的インデキシングスキームを設計する。
• 3つのアライメントチューニングタスクを導入：順序付きアイテム予測、明示的インデックス-言語アライメント、暗黙の推薦指向アライメント。
• 学習済みのアイテムインデックスをLLMの自己回帰的生成プロセスにおける離散トークンとして使用し、直接的なアイテム生成を可能にする。
• コントラスト学習とマスク予測の目的関数を用い、アイテムインデックスを通じて言語的意味と協調的意味をアライメントする。
• ユーザーの相互作用シーケンスをエンドツーエンドで学習し、アイテムインデックスを入力トークンとして用い、次に来るアイテムを予測する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして離散的アイテムIDをLLMの言語理解に適合する意味的空間に効果的にマッピングできるか？
• RQ2 どのようなアイテムインデキシング機構が、アイテム類似性を保持するとともに、衝突を回避しスケーラビリティを確保できるか？
• RQ3 一般化性能を損なわず、LLMが言語的意味と協調的意味を同時に学習できるようにチューニングするにはどうすればよいか？
• RQ4 統合された意味を用いて、LLMが全アイテムセットから直接正確なアイテム推薦を生成できるか？
• RQ5 協調的意味の統合は、純粋に言語ベースの手法と比較して、推薦品質をどの程度向上させるか？

主な発見

• LC-Recは、従来の順序付き推薦モデルおよび既存のLLMベースのモデルを含む複数の競合ベースラインを、3つの大規模推薦データセットで上回る性能を発揮する。
• アブレーションスタディの結果、提案された各アライメントチューニングタスクが性能向上に顕著な寄与を示しており、特に暗黙の推薦指向アライメントタスクが最大の向上をもたらした。
• 階層的インデックス生成プロセスは、粗いものから細かいものへと意味的精錬を遂げるが、上位レベルのインデックスがコンテンツ変化に寄与する割合がより大きいことが示された。
• より多くのインデックスレベルを使用するにつれて、生成されたアイテムタイトルが真値に徐々に収束することが確認され、マルチレベルインデキシングスキームの有効性が裏付けられた。
• インデックスを介した協調的意味の統合により、特にプラットフォームやカテゴリ固有の推薦において、テキスト埋め込みのコサイン類似度よりも関連性の高い類似アイテムが得られた。
• 部分的なインデックス入力に対しても、モデルは強力な一般化性能を維持し、意味的に整合性のあるアイテムタイトルを生成でき、リソースが限られた環境でも堅牢であることが示された。