[論文レビュー] LLMRec: Large Language Models with Graph Augmentation for Recommendation

Wei Wei, Xubin Ren+7 more|arXiv (Cornell University)|Nov 1, 2023

Recommender Systems and Techniques被引用数 10

ひとこと要約

LLMRec は、相互作用エッジ、アイテム属性、ユーザープロファイルの三つの LLM 主導戦略と雑音除去による堅牢化コンポーネントを組み合わせ、ベンチマークデータセットで推奨精度を向上させる。

ABSTRACT

The problem of data sparsity has long been a challenge in recommendation systems, and previous studies have attempted to address this issue by incorporating side information. However, this approach often introduces side effects such as noise, availability issues, and low data quality, which in turn hinder the accurate modeling of user preferences and adversely impact recommendation performance. In light of the recent advancements in large language models (LLMs), which possess extensive knowledge bases and strong reasoning capabilities, we propose a novel framework called LLMRec that enhances recommender systems by employing three simple yet effective LLM-based graph augmentation strategies. Our approach leverages the rich content available within online platforms (e.g., Netflix, MovieLens) to augment the interaction graph in three ways: (i) reinforcing user-item interaction egde, (ii) enhancing the understanding of item node attributes, and (iii) conducting user node profiling, intuitively from the natural language perspective. By employing these strategies, we address the challenges posed by sparse implicit feedback and low-quality side information in recommenders. Besides, to ensure the quality of the augmentation, we develop a denoised data robustification mechanism that includes techniques of noisy implicit feedback pruning and MAE-based feature enhancement that help refine the augmented data and improve its reliability. Furthermore, we provide theoretical analysis to support the effectiveness of LLMRec and clarify the benefits of our method in facilitating model optimization. Experimental results on benchmark datasets demonstrate the superiority of our LLM-based augmentation approach over state-of-the-art techniques. To ensure reproducibility, we have made our code and augmented data publicly available at: https://github.com/HKUDS/LLMRec.git

研究の動機と目的

• レコメンデーションシステムにおけるデータのスパース性と低品質なサイド情報に対処する。
• モダリティベースのレコメンダーにおいて相互作用グラフとサイド情報を拡張するために大規模言語モデルを活用する。
• ノイズを剪定し特徴を強化するデノイズドデータ堅牢化機構を提供する。
• LLM ベースのグラフ拡張の利点を理論的に分析し、経験的に検証する。
• 再現性のためにコードと拡張データを公開する。

提案手法

• 三つの LLM ベースの拡張戦略：ユーザーとアイテムの相互作用エッジを強化し、アイテム属性を強化し、ユーザープロファイリングを行う。
• 候補プール内でのベイズ個別推薦（BPR）学習のための陽性/陰性の暗黙的フィードバックサンプルを生成するための LLM ベースのサンプリング。
• LLM 生成のサイド情報（ユーザー/アイテム属性）を統一埋め込みに変換し、それを拡張された意味表現射影、協調文脈注入、特徴組み込みを介して統合する。
• ノイズエッジの剪定と MAE ベースの特徴強化を含むデノイズド堅牢化により拡張の品質を向上させる。
• 拡張データ上の BPR 損失での共同最適化と、拡張特徴を正則化するための MAE からの特徴復元損失。

実験結果

リサーチクエスチョン

• RQ1 LLM をどのように利用して、従来の ID ベース信号を超えるユーザー-アイテム相互作用を予測・拡張できるか？
• RQ2 過度なノイズを導入することなく、拡張コンテンツをどのように生成・組み込むことができるか？
• RQ3 拡張ノード属性とユーザー/アイテムプロファイルをレコメンダエンコーダにどのように統合すべきか？
• RQ4 デノイズと MAE ベースの特徴強化は、LLM 拡張推奨の堅牢性と性能を改善できるか？

主な発見

ベースライン	Netflix_R10	Netflix_N10	Netflix_R20	Netflix_N20	Netflix_R50	Netflix_N50	Netflix_P20	MovieLens_R10	MovieLens_N10	MovieLens_R20	MovieLens_N20	MovieLens_R50	MovieLens_N50	MovieLens_P20
MF-BPR	0.0282	0.0140	0.0542	0.0205	0.0932	0.0281	0.0027	0.1890	0.0815	0.2564	0.0985	0.3442	0.1161	0.0128
NGCF	0.0347	0.0161	0.0699	0.0235	0.1092	0.0336	0.0032	0.2084	0.0886	0.2926	0.1100	0.4262	0.1362	0.0146
LightGCN	0.0352	0.0160	0.0701	0.0238	0.1125	0.0339	0.0032	0.1994	0.0837	0.2660	0.1005	0.3692	0.1209	0.0133
VBPR	0.0325	0.0142	0.0553	0.0199	0.1024	0.0291	0.0028	0.2144	0.0929	0.2980	0.1142	0.4076	0.1361	0.0149
MMGCN	0.0363	0.0174	0.0699	0.0249	0.1164	0.0342	0.0033	0.2314	0.1097	0.2856	0.1233	0.4282	0.1514	0.0147
GRCN	0.0379	0.0192	0.0706	0.0257	0.1148	0.0358	0.0035	0.2384	0.1040	0.3130	0.1236	0.4532	0.1516	0.0150
LATTICE	0.0433	0.0181	0.0737	0.0259	0.1301	0.0370	0.0036	0.2116	0.0955	0.3454	0.1268	0.4667	0.1479	0.0167
MICRO	0.0466	0.0196	0.0764	0.0271	0.1306	0.0378	0.0038	0.2150	0.1131	0.3461	0.1468	0.4898	0.1743	0.0175
CLCRec	0.0428	0.0217	0.0607	0.0262	0.0981	0.0335	0.0030	0.2266	0.0971	0.3164	0.1198	0.4488	0.1459	0.0158
MMSSL	0.0455	0.0224	0.0743	0.0287	0.1257	0.0383	0.0037	0.2482	0.1113	0.3354	0.1310	0.4814	0.1616	0.0170
LLMRec	0.0531	0.0272	0.0829	0.0347	0.1382	0.0456	0.0041	0.2603	0.1250	0.3643	0.1628	0.5281	0.1901	0.0186

• LLMRec は Netflix および MovieLens データセットで最先端ベースラインを上回るリコール、NDCG、精度を達成する。
• アブレーション研究は、三つの LLM ベース拡張コンポーネントの有効性を示している。
• デノイズ（ノイズ剪定）と MAE ベースの特徴強化は学習を安定化させ、結果を改善する。
• このアプローチは複数の指標（例：リコールや NDCG）にわたって顕著な改善をもたらし、合理的な時間計算量を維持する。
• ターゲット分析を通じて、どの構成要素が利益に最も寄与するかを示す。