[논문 리뷰] Leveraging Large Language Models for Pre-trained Recommender Systems

Zhixuan Chu, Hongyan Hao외 10명|arXiv (Cornell University)|2023. 08. 21.

Topic Modeling인용 수 11

한 줄 요약

RecSysLLM은 대형 언어 모델 기반으로 구축된 사전 학습된 추천 모델로, 데이터, 학습 및 추론 단계 설계를 통해 도메인 특정 추천 지식을 주입하면서 LLM의 추론을 보존합니다.

ABSTRACT

Recent advancements in recommendation systems have shifted towards more comprehensive and personalized recommendations by utilizing large language models (LLM). However, effectively integrating LLM's commonsense knowledge and reasoning abilities into recommendation systems remains a challenging problem. In this paper, we propose RecSysLLM, a novel pre-trained recommendation model based on LLMs. RecSysLLM retains LLM reasoning and knowledge while integrating recommendation domain knowledge through unique designs of data, training, and inference. This allows RecSysLLM to leverage LLMs' capabilities for recommendation tasks in an efficient, unified framework. We demonstrate the effectiveness of RecSysLLM on benchmarks and real-world scenarios. RecSysLLM provides a promising approach to developing unified recommendation systems by fully exploiting the power of pre-trained language models.

연구 동기 및 목표

• 추론 및 외부 지식을 활용하기 위해 대형 언어 모델(LLM)을 통합된 사전 학습 추천 시스템으로 도입하는 것을 촉진한다.
• LLM 능력을 보존하면서 추천 도메인 지식을 통합한 사전 학습된 추천 모델인 RecSysLLM을 제안한다.
• 표 형식의 추천 데이터를 LLM 사전 학습 개념과 일치시키는 데이터, 학습 및 추론 단계를 개발한다.
• 평가(Rating), 순차 추천, 설명, 리뷰, 직접 추천에 걸친 다중 작업 성능을 보여준다.
• RecSysLLM이 추천 품질 및 일반화 능력을 향상시킨다는 실세계 및 벤치마크 데이터셋의 증거를 제공한다.

제안 방법

• LLM 사전 학습에 맞추기 위해 표 형태의 사용자/아이템 데이터를 자연어로 텍스트화한다.
• 엔티티 무결성을 보존하고 엔티티 수준, 문장 수준, 문서 수준 마스킹을 지원하는 마스킹 메커니즘을 도입한다.
• 연대순으로 유지된 범위를 가진 자기회귀식 공백 채우기 목표를 채택하여 엔티티 간 관계를 유지한다.
• 2D 위치 인코딩을 확장하여 엔티티 간/내 위치를 포함하고 추론 시 동적 위치 메커니즘을 적용한다.
• 권한 효율적 미세조정 접근법(LoRA)을 GLM 기반 기반으로 사용하여 추천 특화 지식을 주입한다(예: GLM-10B/ChatGLM-6B).
• 제로샷 일반화를 가능하게 하기 위해 평가, 순차 추천, 설명, 리뷰 및 직접 추천을 아우르는 다중 작업 프롬프트로 학습한다.

실험 결과

연구 질문

• RQ1 RecSysLLM이 LLM의 추론 및 배경 지식을 활용하여 다중 작업에서 추천 성능을 향상시킬 수 있는가?
• RQ2 표 데이터를 텍스트화하고 엔티티 인식 마스킹을 도입하는 것이 사용자-아이템 상호작용 학습에 어떤 영향을 미치는가?
• RQ3 사전 학습된 LLM의 매개변수 효율적 미세조정이 차후 추천 작업에 효과적으로 적응하게 하여 경쟁력 있는 또는 더 우수한 성능을 가능하게 하는가?
• RQ4 RecSysLLM이 다양한 추천 작업에서 보이지 않는 프롬프트에 대해 얼마나 충분히 제로샷 일반화를 달성할 수 있는가?
• RQ5 추천의 의미론적 이해를 향상시키기 위해 항목을 ID가 아닌 텍스트로 표현하는 것의 실용적 이점은 무엇인가?

주요 결과

• RecSysLLM은 평점, 순차 추천, 설명, 리뷰, 직접 추천에서 경쟁력 있거나 우수한 성능을 달성하며, 특히 제로샷 설정의 미확인 프롬프트에서 기준선보다 우수하게 작동한다.
• 항목 및 엔티티의 텍스트 표현은 숫자 ID보다 더 풍부한 의미 이해를 가능하게 하여 추천의 질 향상에 기여한다.
• 모델은 강력한 제로샷 일반화를 보이며, 여러 작업에서 미확인 프롬프트에 대해 P5와 같은 프롬프트 기반 기준선을 능가한다.
• 프롬프트 설계와 LLM의 생성 능력은 설명 생성 및 리뷰 요약 성능을 크게 향상시킨다.
• 실세계 데이터(Alibaba/Alipay Chinese dataset)와 Amazon-English 데이터 세트에 대한 실험은 RecSysLLM의 효과성과 실용성을 보여준다.