[論文レビュー] CoLLM: Integrating Collaborative Embeddings into Large Language Models for Recommendation

Yang Zhang, Fuli Feng+4 more|arXiv (Cornell University)|Oct 30, 2023

Recommender Systems and Techniques被引用数 4

ひとこと要約

CoLLMは、ユーザ・アイテムの相互作用から得られる共同情報（collaborative information）を大規模言語モデル（LLMs）に統合するための新規フレームワークを提案する。外部の共同埋め込みをLLMの入力トークン空間にマッピングすることで、LLMのアーキテクチャを変更せずに、共同モデリングとLLMを分離することで、ウォームスタートおよびコールドスタートの両状況で性能を向上させ、ベンチマークデータセットで最先端の結果を達成している。

ABSTRACT

Leveraging Large Language Models as Recommenders (LLMRec) has gained significant attention and introduced fresh perspectives in user preference modeling. Existing LLMRec approaches prioritize text semantics, usually neglecting the valuable collaborative information from user-item interactions in recommendations. While these text-emphasizing approaches excel in cold-start scenarios, they may yield sub-optimal performance in warm-start situations. In pursuit of superior recommendations for both cold and warm start scenarios, we introduce CoLLM, an innovative LLMRec methodology that seamlessly incorporates collaborative information into LLMs for recommendation. CoLLM captures collaborative information through an external traditional model and maps it to the input token embedding space of LLM, forming collaborative embeddings for LLM usage. Through this external integration of collaborative information, CoLLM ensures effective modeling of collaborative information without modifying the LLM itself, providing the flexibility to employ various collaborative information modeling techniques. Extensive experiments validate that CoLLM adeptly integrates collaborative information into LLMs, resulting in enhanced recommendation performance. We release the code and data at https://github.com/zyang1580/CoLLM.

研究の動機と目的

• 既存のLLMベースの推薦手法がユーザ・アイテム相互作用からの共同情報を十分に活用できていないという制限を解決すること。
• 共同パターンが明確なウォームスタート状況において推薦性能を向上させつつ、コールドスタートの能力を損なわないこと。
• LLMアーキテクチャを変更せずに、さまざまな共同モデリング技術をLLMに柔軟に統合できること。
• 直接ユーザ／アイテムトークンをインジェクションするのを避けることで、トークン化の冗長性を回避し、情報圧縮効率を高い水準に維持すること。
• 外部でのモデリングと埋め込みマッピングを介して、低ランクの共同信号をLLMに効果的かつスケーラブルに統合する方法を開発すること。

提案手法

• CoLLMは、事前学習済みの共同モデル（例：行列分解やLightGCN）を用いて、ユーザ・アイテム相互作用データから共同埋め込みを抽出する。
• これらの共同埋め込みは、学習可能なマッピング層（CIEモジュール）を介して、LLMの入力トークン埋め込み空間に投影され、LLMが共同信号に注目できるようにする。
• 共同モデリングを外部化することで、LLMの元のアーキテクチャを維持し、ユーザ／アイテムIDの直接的なトークン化を回避する。
• 二段階のファインチューニング戦略を採用：まず、テキストのみのデータでLoRAをファインチューニングして推薦タスクを学習し、次に、共同モデルを固定した状態でCIEマッピング層をファインチューニングする。
• フレームワークはさまざまな共同モデリング技術をサポートし、低ランク表現を維持することで冗長性を低減し、圧縮効率を向上させる。
• CIEモジュールにより、共同信号がLLMのアテンションメカニズム内でテキスト入力と動的に整合されるエンドツーエンドのトレーニングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 LLMのアーキテクチャを変更せずに、ユーザ・アイテム相互作用からの共同情報が効果的にLLMに統合可能か？
• RQ2 共同モデリングを外部化することで、ウォームスタート状況での推薦性能が向上し、コールドスタートの能力が維持されるか？
• RQ3 提案されたマッピング機構は、直接ユーザ／アイテムトークンをLLMの入力空間にインジェクションする方法と比較して、どのように異なるか？
• RQ4 さまざまなファインチューニング戦略が、ウォームおよびコールドユーザ状況におけるCoLLMの性能に与える影響は何か？
• RQ5 CoLLMは、最小限のアーキテクチャ変更で、多様なLLMおよび推薦データセットにおいて高い性能を維持できるか？

主な発見

• CoLLMは、ML-1MおよびAmazon-Bookデータセットにおいて、ウォームユーザおよびコールドユーザの両状況で、既存のLLMRec手法を上回り、最先端（SOTA）の結果を達成した。
• アブレーションスタディの結果、CIEモジュールを削除した場合（w/o CIE）に顕著な性能低下が生じ、CIEモジュールが共同信号統合において中心的な役割を果たしていることが確認された。
• 直接ユーザおよびアイテムトークンをインジェクションした場合（w/ UI-token）は、ベースラインおよびCoLLMと比較して性能が低下した。これは、トークン化の冗長性が増加し、圧縮効率が低下するためである。
• 二段階のチューニング戦略（まずテキストのみ、次にCIEファインチューニング）は、ワンステップチューニングよりも優れた性能を示し、特にコールドスタート状況で顕著であった。これは、初期のタスク固有の学習の重要性を示している。
• CIEモジュール内の共同モデルをチューニングする（T1, T2）ことで、さらに性能が向上したが、トレーニング時間と計算負荷が増加した。
• ML-1Mでは、CoLLMはAUC 0.7295、UAUC 0.6875を達成し、T2が最高のAUC（0.7418）を記録した。これは、CIEの完全なファインチューニングが有効であることを示している。