[논문 리뷰] Enhanced Recommendation Combining Collaborative Filtering and Large Language Models

Xueting Lin, Zhan Cheng외 3명|arXiv (Cornell University)|2024. 12. 25.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 사용자-아이템 상호작용 패턴과 풍부한 텍스트 이해 능력을 활용하여 정확도와 다양성을 향상시키기 위해 협업 필터링(CF)과 대규모 언어 모델(LLMs)을 통합하는 하이브리드 추천 모델을 제안한다. 이 방법은 추천 시스템의 콜드 스타트 및 데이터 희소성 문제를 개선하고, 기준 모델 대비 정밀도, 재현율 및 사용자 만족도 측면에서 뚜렷한 성과를 달성한다.

ABSTRACT

With the advent of the information explosion era, the importance of recommendation systems in various applications is increasingly significant. Traditional collaborative filtering algorithms are widely used due to their effectiveness in capturing user behavior patterns, but they encounter limitations when dealing with cold start problems and data sparsity. Large Language Models (LLMs), with their strong natural language understanding and generation capabilities, provide a new breakthrough for recommendation systems. This study proposes an enhanced recommendation method that combines collaborative filtering and LLMs, aiming to leverage collaborative filtering's advantage in modeling user preferences while enhancing the understanding of textual information about users and items through LLMs to improve recommendation accuracy and diversity. This paper first introduces the fundamental theories of collaborative filtering and LLMs, then designs a recommendation system architecture that integrates both, and validates the system's effectiveness through experiments. The results show that the hybrid model based on collaborative filtering and LLMs significantly improves precision, recall, and user satisfaction, demonstrating its potential in complex recommendation scenarios.

연구 동기 및 목표

• 기존 협업 필터링이 추천 시스템에서 콜드 스타트 및 데이터 희소성 문제를 다루는 데에 한계가 있음을 해결한다.
• 대규모 언어 모델(LLMs)의 자연어 이해 및 생성 능력을 활용하여 사용자 및 아이템 표현을 풍부하게 한다.
• CF의 선호도 모델링과 LLM의 텍스트 특징에 대한 맥락 이해 능력을 유기적으로 융합하는 통합 아키텍처를 설계한다.
• 복잡한 실제 추천 환경에서 추천 정확도와 다양성을 동시에 향상시킨다.
• 기준 데이터셋에 대한 실증적 평가를 통해 하이브리드 모델의 효과성을 검증한다.

제안 방법

• 이력 행동에서 잠재적 사용자 선호도를 포착하기 위해 사용자-아이템 상호작용을 모델링하기 위해 협업 필터링을 통합한다.
• 사용자 및 아이템의 텍스트 기반 설명, 예를 들어 리뷰, 제목, 메타데이터 등을 인코딩하고 풍부하게 하기 위해 대규모 언어 모델(LLMs)을 활용한다.
• CF 임베딩과 LLM이 생성한 맥락 임베딩을 후기 상호작용 또는 조기 연결을 통해 융합하는 메커니즘을 적용한다.
• 도메인 특화 추천 데이터에 대해 LLM 구성 요소를 미세조정하여 사용자 선호 신호와의 일치도를 향상시킨다.
• 순서 매기기 손실과 대비 학습 목표를 조합한 다중 작업 손실을 사용하여 하이브리드 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 원시 텍스트 입력에서 사용자 및 아이템 전용 임베딩을 생성하도록 지시 프롬프트를 설계하여 LLM을 이끌어낸다.

실험 결과

연구 질문

• RQ1 협업 필터링과 대규모 언어 모델(LLMs)을 융합하면 추천 정확도와 다양성에 뚜렷한 향상이 이루어지는가?
• RQ2 LLMs의 통합은 순수 CF 모델 대비 콜드 스타트 및 희소 데이터가 많은 아이템에서 성능 향상에 어떻게 기여하는가?
• RQ3 CF 임베딩과 LLM이 생성한 표현을 융합하는 최적의 전략은 무엇인가?
• RQ4 LLMs는 추천 결과의 사용자 만족도와 설명 가능성에 어느 정도 기여하는가?
• RQ5 이 하이브리드 모델은 다양한 추천 시나리오와 데이터셋에 대해 얼마나 일반화되는가?

주요 결과

• 기준 협업 필터링 모델 대비 하이브리드 모델은 정밀도와 재현율에서 통계적으로 유의미한 향상을 보였다.
• LLMs의 통합은 데이터 희소성의 악영향을 줄였으며, 특히 콜드 스타트 아이템과 사용자에게 유리하게 작용했다.
• NDCG 및 MAP와 같은 사용자 만족도 지표가 하이브리드 모델에서 뚜렷이 높아져 사용자 선호도와의 일치도가 뛰어나다는 것을 시사한다.
• 정확도를 희생시키지 않은 채 엔트로피 및 커버리지 지표로 측정한 바에 따르면, 모델은 추천의 다양성 향상을 보였다.
• 제거 분석(ablation study) 결과, CF와 LLM 구성 요소 모두 성능 향상에 기여하며, 특히 LLM이 맥락 이해에 핵심적인 역할을 한다는 것이 확인되었다.
• 다양한 평가 지표에서 순수 LLM 기반 및 순수 CF 기반 접근 방식을 포함한 강력한 기준 모델들을 모두 압도하는 성능을 보였다.