[논문 리뷰] Adapting Large Language Models by Integrating Collaborative Semantics for Recommendation

Bowen Zheng, Yupeng Hou외 5명|arXiv (Cornell University)|2023. 11. 15.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 LLM 기반 추천 프레임워크인 LC-Rec를 제안하며, 항목 색인을 위한 트리 구조의 벡터 양자화 방법과 특화된 정렬 튜닝 작업을 통해 언어적 의미와 협업적 의미를 통합한다. 의미 있는 이산적 항목 인덱스를 학습하고, 공동 의미에 대해 LLM을 미세조정함으로써, 후보 집합에 의존하지 않고도 순차적 추천에서 최신 기술 성능을 달성한다.

ABSTRACT

Recently, large language models (LLMs) have shown great potential in recommender systems, either improving existing recommendation models or serving as the backbone. However, there exists a large semantic gap between LLMs and recommender systems, since items to be recommended are often indexed by discrete identifiers (item ID) out of the LLM's vocabulary. In essence, LLMs capture language semantics while recommender systems imply collaborative semantics, making it difficult to sufficiently leverage the model capacity of LLMs for recommendation. To address this challenge, in this paper, we propose a new LLM-based recommendation model called LC-Rec, which can better integrate language and collaborative semantics for recommender systems. Our approach can directly generate items from the entire item set for recommendation, without relying on candidate items. Specifically, we make two major contributions in our approach. For item indexing, we design a learning-based vector quantization method with uniform semantic mapping, which can assign meaningful and non-conflicting IDs (called item indices) for items. For alignment tuning, we propose a series of specially designed tuning tasks to enhance the integration of collaborative semantics in LLMs. Our fine-tuning tasks enforce LLMs to deeply integrate language and collaborative semantics (characterized by the learned item indices), so as to achieve an effective adaptation to recommender systems. Extensive experiments demonstrate the effectiveness of our method, showing that our approach can outperform a number of competitive baselines including traditional recommenders and existing LLM-based recommenders. Our code is available at https://github.com/RUCAIBox/LC-Rec/.

연구 동기 및 목표

• LLMs의 언어적 의미와 추천 시스템의 협업적 의미 사이의 의미 갭을 해소하기 위해.
• LLMs가 후보 필터링 없이 전체 항목 집합에서 직접 항목 추천을 생성할 수 있도록 하기 위해.
• 항목 유사성을 포착하면서도 의미적으로 유의미하고 충돌 없고 확장 가능한 항목 색인 메커니즘을 설계하기 위해.
• LLMs 내에서 언어적 의미와 협업적 의미를 깊이 통합하는 정렬 튜닝 작업을 개발하기 위해.
• 두 가지 서로 다른 의미 공간을 연결함으로써 LLM의 능력을 순차적 추천에서 최대로 활용하기 위해.

제안 방법

• 균일한 의미 맵핑을 갖춘 트리 구조의 벡터 양자화(VQ) 방법을 제안하여 이산적이고 의미 있는 충돌 없는 항목 인덱스를 할당한다.
• 각 수준에서 의미 표현을 굵기에서 세밀하게 다듬는 계층적 색인 체계를 설계한다.
• 세 가지 정렬 튜닝 작업을 도입한다: 순차적 항목 예측, 명시적 인덱스-언어 정렬, 암시적 추천 중심 정렬.
• 학습된 항목 인덱스를 LLM의 자동회귀 생성 과정에서 이산 토큰으로 사용하여 직접 항목 생성을 가능하게 한다.
• 대비 학습과 마스킹 예측 목적 함수를 활용하여 항목 인덱스를 통해 언어적 의미와 협업적 의미를 정렬한다.
• 사용자 상호작용 시퀀스를 엔드 투 엔드로 훈련하며, 항목 인덱스를 입력 토큰으로 사용하고 시퀀스의 다음 항목을 예측한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 이산적 항목 ID를 LLM의 언어 이해와 호환되는 의미 공간으로 효과적으로 매핑할 수 있는가?
• RQ2 어떤 종류의 항목 색인 메커니즘이 항목 유사성을 유지하면서도 충돌을 방지하고 확장성을 확보할 수 있는가?
• RQ3 LLMs를 미세조정할 때 일반화 능력을 훼손하지 않고 언어적 의미와 협업적 의미를 함께 학습할 수 있는 방법은 무엇인가?
• RQ4 통합된 의미를 통해 LLM이 전체 항목 집합에서 직접 정확한 항목 추천을 생성할 수 있는가?
• RQ5 협업적 의미를 통합함으로써 순수 언어 기반 방법에 비해 추천 품질이 얼마나 향상되는가?

주요 결과

• LC-Rec는 세 개의 대규모 추천 데이터셋에서 기존의 전통적 순차 추천 모델과 기존의 LLM 기반 모델을 포함한 여러 경쟁 모델보다 뛰어난 성능을 보였다.
• 제거 실험 결과 각 제안된 정렬 튜닝 작업이 성능 향상에 기여하며, 특히 암시적 추천 중심 정렬 작업이 가장 큰 기여를 했다.
• 계층적 인덱스 생성 과정은 굵기에서 세밀한 의미의 정교화를 보이며, 높은 수준의 인덱스가 더 많은 내용 변화에 기여한다.
• 더 많은 인덱스 수준을 사용할수록 생성된 항목 제목이 점점 진짜 값에 수렴함을 확인하여 다중 수준 색인 체계의 효과성을 입증했다.
• 인덱스를 통한 협업적 의미 통합은 특히 플랫폼 및 카테고리 기반 추천에서 텍스트 임베딩 기반 코사인 유사도보다 더 관련성이 높은 유사 항목을 도출했다.
• 부분적인 인덱스 입력 조건에서도 모델은 강력한 일반화 능력과 의미적으로 일관된 항목 제목을 생성하여 자원이 제한된 환경에서도 안정성을 보였다.