[論文レビュー] Representation Learning with Large Language Models for Recommendation

Xubin Ren, Wei Wei+6 more|arXiv (Cornell University)|Oct 24, 2023

Recommender Systems and Techniques被引用数 10

ひとこと要約

この論文は RLMRec を提案する。モデル非依存のフレームワークで、大規模言語モデル（LLMs）を活用して LLM由来の意味表現と協調フィルタリングの埋め込みを相互情報量最大化を介して整合させ、既存のレコメンダーシステムを強化する。

ABSTRACT

Recommender systems have seen significant advancements with the influence of deep learning and graph neural networks, particularly in capturing complex user-item relationships. However, these graph-based recommenders heavily depend on ID-based data, potentially disregarding valuable textual information associated with users and items, resulting in less informative learned representations. Moreover, the utilization of implicit feedback data introduces potential noise and bias, posing challenges for the effectiveness of user preference learning. While the integration of large language models (LLMs) into traditional ID-based recommenders has gained attention, challenges such as scalability issues, limitations in text-only reliance, and prompt input constraints need to be addressed for effective implementation in practical recommender systems. To address these challenges, we propose a model-agnostic framework RLMRec that aims to enhance existing recommenders with LLM-empowered representation learning. It proposes a recommendation paradigm that integrates representation learning with LLMs to capture intricate semantic aspects of user behaviors and preferences. RLMRec incorporates auxiliary textual signals, develops a user/item profiling paradigm empowered by LLMs, and aligns the semantic space of LLMs with the representation space of collaborative relational signals through a cross-view alignment framework. This work further establish a theoretical foundation demonstrating that incorporating textual signals through mutual information maximization enhances the quality of representations. In our evaluation, we integrate RLMRec with state-of-the-art recommender models, while also analyzing its efficiency and robustness to noise data. Our implementation codes are available at https://github.com/HKUDS/RLMRec.

研究の動機と目的

• テキスト情報と LLM を用いて ID ベースのリコメンダーシステムを補完し、 implicit feedback のノイズを緩和する動機づけ。
• 相互情報量最大化を通じてテキスト信号を取り入れることが表現品質を向上させるという理論的根拠を提案。
• LLMs によって生成された意味的プロファイルを用いるユーザー/アイテムのプロファイリングパラダイムを導入し、好み学習を改善。
• LLM の意味空間と協調的関係信号を整合させる横断ビュー整合フレームワークを開発。
• RLMRec を最先端のレコメンダーと統合できることを示し、ノイズに対するロバスト性を分析。

提案手法

• ノイズ下でのユーザー/アイテム表現学習を確率的に定式化し、観測された相互作用の真陽性を特定するのに役立つ隠れ事前 z を導入。
• 慎重に設計されたプロンプトと推論ベースのプロンプト（推論によるプロファイル生成）を通じて、LLMs によって生成されたテキスト強化のユーザー/アイテムプロファイルを定義。
• タイトル、説明、属性、レビューを用いてアイテムプロファイルを構築し、対話したアイテムのテキストとレビューからユーザープロフィールを構築。
• 密度比 f(s,e) をモデル化し、二つのアプローチで I(e;s) を最大化する： (a) コサイン類似度を e-space に写像して e と s を結びつける対比的整合（contrastive alignment）、(b) セマンティック空間のマスク済み自動符号化器風再構成による生成的整合（generative alignment）。
• 任意のレコメンダーの損失 L_R に情報量目的関数 L_info を加え、モデル非依存の学習フレームワークを提示。これにより結合目的関数 L = L_R + L_info を得る。
• 密度比モデリングのための二つの具体的な実装案を提示：RLMRec-Con（対比）と RLMRec-Gen（生成）。

実験結果

リサーチクエスチョン

• RQ1 LLM由来プロファイルからのテキスト信号は、IDベースのレコメンダーシステムで学習表現の品質を向上させるか？
• RQ2 LLM由来の表現の意味空間を協調的関係空間と整合させて推薦を改善できるか？
• RQ3 相互情報量最大化は、テキスト信号を協調フィルタリングへ統合する現実的な理論的基盤となり得るか？
• RQ4 LLM強化表現は実データセットでノイズや欠損データに対してロバスト性を向上させるか？
• RQ5 RLMRec は効率を犠牲にすることなく、既存の最先端レコメンダーモデルと効果的に統合できるか？

主な発見

• RLMRec は、データセット（Amazon-book, Yelp, Steam）において、ライトGCN や SGL などのベースラインを Recall および NDCG 指標で一貫して改善する。
• RLMRec-Con と RLMRec-Gen の両方が、いくつかの指標とデータセットでベースラインに対して統計的に有意な改善を示す。
• 提案された相互情報量ベースの整合は、表現のノイズ信号を効果的に緩和し、推奨品質を向上させる。
• テキスト信号を用いた場合、ノイズや欠損データに対するロバスト性の notable な改善を示す。
• 本フレームワークはモデルに依存しない（モデル非依存）で、複数のバックボーンリコメンダーと互換性があり、テキストのみの手法と比較して効率を維持または向上させる。
• RLMRec のコードは著者のリポジトリで公開されている。