[논문 리뷰] LLMRec: Large Language Models with Graph Augmentation for Recommendation

Wei Wei, Xubin Ren외 7명|arXiv (Cornell University)|2023. 11. 01.

Recommender Systems and Techniques인용 수 10

한 줄 요약

LLMRec는 세 가지 LLM 주도 전략(상호작용 엣지, 아이템 속성, 사용자 프로필)과 노이즈 제거를 통한 강건화 구성 요소를 통해 사용자-아이템 그래프를 보강하고 벤치마크 데이터셋에서 추천 정확도를 향상시킵니다.

ABSTRACT

The problem of data sparsity has long been a challenge in recommendation systems, and previous studies have attempted to address this issue by incorporating side information. However, this approach often introduces side effects such as noise, availability issues, and low data quality, which in turn hinder the accurate modeling of user preferences and adversely impact recommendation performance. In light of the recent advancements in large language models (LLMs), which possess extensive knowledge bases and strong reasoning capabilities, we propose a novel framework called LLMRec that enhances recommender systems by employing three simple yet effective LLM-based graph augmentation strategies. Our approach leverages the rich content available within online platforms (e.g., Netflix, MovieLens) to augment the interaction graph in three ways: (i) reinforcing user-item interaction egde, (ii) enhancing the understanding of item node attributes, and (iii) conducting user node profiling, intuitively from the natural language perspective. By employing these strategies, we address the challenges posed by sparse implicit feedback and low-quality side information in recommenders. Besides, to ensure the quality of the augmentation, we develop a denoised data robustification mechanism that includes techniques of noisy implicit feedback pruning and MAE-based feature enhancement that help refine the augmented data and improve its reliability. Furthermore, we provide theoretical analysis to support the effectiveness of LLMRec and clarify the benefits of our method in facilitating model optimization. Experimental results on benchmark datasets demonstrate the superiority of our LLM-based augmentation approach over state-of-the-art techniques. To ensure reproducibility, we have made our code and augmented data publicly available at: https://github.com/HKUDS/LLMRec.git

연구 동기 및 목표

• 권장 시스템의 데이터 희소성과 낮은 품질의 사이드 정보를 해결한다.
• 모달리티 기반 추천에서 상호작용 그래프와 사이드 정보를 보강하기 위해 대형 언어 모델을 활용한다.
• 노이즈를 제거하고 특징을 강화하는 denoised 데이터 강건화 메커니즘을 제공한다.
• LLM 기반 그래프 보강의 이점을 이론적으로 분석하고 실증적으로 검증한다.
• 재현성을 위해 코드 및 보강 데이터의 공개를 통해 연구 재현성을 높인다.

제안 방법

• 세 가지 LLM 기반 보강 전략: 사용자-아이템 상호작용 엣지를 강화하고, 아이템 속성을 향상시키며, 사용자 프로파일링을 수행한다.
• Bayesian Personalized Ranking (BPR) 학습을 위한 후보 풀 내에서 양/음의 암묵적 피드백 샘플을 생성하는 LLM 기반 샘플링.
• 일관된 임베딩으로 암호화된 LLM 생성 사이드 정보(user/item 속성)를 보강된 시맨틱 프로젝션, 협업 맥락 주입, 특징 도입을 통해 통합한다.
• 소음 엣지 제거 및 MAE 기반 특징 강화 등 denoised 강건화를 통해 보강 품질을 향상시킨다.
• 보강 데이터에 대한 BPR 손실과 MAE의 특징 복원 손실을 함께 최적화하여 보강 특징을 규제한다.

실험 결과

연구 질문

• RQ1 LLMs를 어떻게 활용해 전통적인 ID 기반 신호를 넘어 사용자-아이템 상호작용을 예측하고 보강할 수 있는가?
• RQ2 보강된 콘텐츠를 어떻게 생성하고 과도한 노이즈 없이 통합할 수 있는가?
• RQ3 보강된 노드 속성과 사용자/아이템 프로필을 추천 인코더에 어떻게 통합해야 하는가?
• RQ4 denoising 및 MAE 기반 특징 강화가 LLM 보강 추천의 강건성과 성능을 개선할 수 있는가?

주요 결과

Baseline	Netflix_R10	Netflix_N10	Netflix_R20	Netflix_N20	Netflix_R50	Netflix_N50	Netflix_P20	MovieLens_R10	MovieLens_N10	MovieLens_R20	MovieLens_N20	MovieLens_R50	MovieLens_N50	MovieLens_P20
MF-BPR	0.0282	0.0140	0.0542	0.0205	0.0932	0.0281	0.0027	0.1890	0.0815	0.2564	0.0985	0.3442	0.1161	0.0128
NGCF	0.0347	0.0161	0.0699	0.0235	0.1092	0.0336	0.0032	0.2084	0.0886	0.2926	0.1100	0.4262	0.1362	0.0146
LightGCN	0.0352	0.0160	0.0701	0.0238	0.1125	0.0339	0.0032	0.1994	0.0837	0.2660	0.1005	0.3692	0.1209	0.0133
VBPR	0.0325	0.0142	0.0553	0.0199	0.1024	0.0291	0.0028	0.2144	0.0929	0.2980	0.1142	0.4076	0.1361	0.0149
MMGCN	0.0363	0.0174	0.0699	0.0249	0.1164	0.0342	0.0033	0.2314	0.1097	0.2856	0.1233	0.4282	0.1514	0.0147
GRCN	0.0379	0.0192	0.0706	0.0257	0.1148	0.0358	0.0035	0.2384	0.1040	0.3130	0.1236	0.4532	0.1516	0.0150
LATTICE	0.0433	0.0181	0.0737	0.0259	0.1301	0.0370	0.0036	0.2116	0.0955	0.3454	0.1268	0.4667	0.1479	0.0167
MICRO	0.0466	0.0196	0.0764	0.0271	0.1306	0.0378	0.0038	0.2150	0.1131	0.3461	0.1468	0.4898	0.1743	0.0175
CLCRec	0.0428	0.0217	0.0607	0.0262	0.0981	0.0335	0.0030	0.2266	0.0971	0.3164	0.1198	0.4488	0.1459	0.0158
MMSSL	0.0455	0.0224	0.0743	0.0287	0.1257	0.0383	0.0037	0.2482	0.1113	0.3354	0.1310	0.4814	0.1616	0.0170
LLMRec	0.0531	0.0272	0.0829	0.0347	0.1382	0.0456	0.0041	0.2603	0.1250	0.3643	0.1628	0.5281	0.1901	0.0186

• LLMRec는 Netflix 및 MovieLens 데이터셋에서 최첨단 Baselines 대비 재현율(Recall), NDCG, Precision이 우수하게 나타납니다.
• 세 가지 LLM 기반 보강 구성요소의 효과를 보여주는 제거 연구가 각 구성요소의 유효성을 확인합니다.
• 노이즈 제거(소음 제거) 및 MAE 기반 특징 강화를 통해 학습 안정성을 높이고 결과를 개선합니다.
• 이 접근법은 여러 지표(예: Recall 및 NDCG)에서 눈에 띄는 개선을 보이고 합리적인 시간 복잡도를 유지합니다.
• 프레임워크가 목표 이득에 기여하는 구성요소를 표적 분석으로 보여줍니다.