[논문 리뷰] Collaborative Filtering vs. Content-Based Filtering: differences and similarities

Rafael Glauber, Ângelo Loula|arXiv (Cornell University)|2019. 12. 18.

Recommender Systems and Techniques참고 문헌 25인용 수 4

한 줄 요약

이 논문은 전통적인 정밀도 지표를 넘어서 협업 필터링(CF)과 콘텐츠 기반(CB) 추천 시스템을 비교하기 위한 종합적인 오프라인 평가 프레임워크를 제안한다. MovieLens에 IMDb 메타데이터를 추가한 데이터셋과 CiteULike를 사용하여 기준 CF 알고리즘과 두 가지 커스터마이징된 메모리 기반 CB 알고리즘을 평가하였으며, CB와 CF는 특히 작은 목록에서 상호 보완적인 추천을 제공하며, 관련 항목 속성(예: 배우)을 사용할 경우 카탈로그 커버리지와 다양성 측면에서 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Recommendation Systems (SR) suggest items exploring user preferences, helping them with the information overload problem. Two approaches to SR have received more prominence, Collaborative Filtering, and Content-Based Filtering. Moreover, even though studies are indicating their advantages and disadvantages, few results empirically prove their characteristics, similarities, and differences. In this work, an experimental methodology is proposed to perform comparisons between recommendation algorithms for different approaches going beyond the "precision of the predictions". For the experiments, three algorithms of recommendation were tested: a baseline for Collaborative Filtration and two algorithms for Content-based Filtering that were developed for this evaluation. The experiments demonstrate the behavior of these systems in different data sets, its main characteristics and especially the complementary aspect of the two main approaches.

연구 동기 및 목표

• 표준 정밀도 지표를 넘어서 CF와 CB 필터링 접근 방식을 비교할 수 있는 체계적인 오프라인 평가 방법론을 개발하기.
• 다양한 데이터셋을 통해 CF와 CB 시스템 간의 추천 행동 차이와 유사성을 실증적으로 평가하기.
• 다양한 항목 콘텐츠 속성(예: 배우, 장르, 감독)이 CB 추천 성능에 미치는 영향 평가하기.
• 특히 상위 N개 목록에서의 겹침과 다양성 측면에서 CF와 CB 추천의 상호 보완성 탐구하기.
• CF와 CB가 효과적으로 통합될 수 있는 조건과 방법을 규명함으로써 하이브리드 추천 시스템의 기초 마련하기.

제안 방법

• 연구는 두 가지 서로 다른 데이터셋을 사용한다: IMDb 메타데이터가 추가된 MovieLens 1M과 CiteULike로, 각각 다른 추천 환경을 대표한다.
• 유사도 기반 예측을 사용하는 기준 사용자 기반 협업 필터링(CF) 알고리즘을 구현한다.
• 개별 항목 속성(예: 배우, 장르)을 사용하는 하나의 알고리즘과, 속성 조합(배우 + 작가 + 감독)을 사용하는 다른 알고리즘을 포함한 두 가지 커스터마이징된 메모리 기반 콘텐츠 기반(CB) 알고리즘을 개발한다.
• 평가 프로토콜은 표준 지표(MAP, 커버리지 등) 외에 추천 목록 간의 교차 및 유사도에 중점을 둔 새로운 측정 지표를 포함한다.
• 추천 목록 간의 겹침과 다양성을 평가하기 위해 재료 유사도 지표(Jaccard 유사도)와 진짜 양성 교차를 사용한다.
• 다양한 목록 크기(예: 10, 20, 50)를 대상으로 실험하여 다양한 필터링 조건 하에서의 행동 분석을 수행한다.

실험 결과

연구 질문

• RQ1 CF와 CB 필터링은 다양한 데이터셋에서 추천 출력에 어떻게 다를까?
• RQ2 CF와 CB 추천은 특히 작은 추천 목록에서 얼마나 겹치거나 다를까?
• RQ3 MovieLens 데이터셋에서 효과적인 콘텐츠 기반 추천에 가장 기여하는 항목 속성은 무엇인가?
• RQ4 사용 가능한 항목 콘텐츠의 양과 유형이 콘텐츠 기반 필터링 성능에 어떻게 영향을 미치는가?
• RQ5 CF와 CB의 상호 보완성은 정량적으로 입증될 수 있으며, 이는 하이브리드 시스템 설계에 어떻게 기여할 수 있는가?

주요 결과

• MovieLens 데이터셋에서 콘텐츠 기반 알고리즘(SUP)은 협업 필터링과는 유의미하게 다른 추천을 제공하였으며, 특히 작은 추천 목록(예: 상위 10개)에서 두드러졌다. 목록 크기가 커질수록 겹침이 증가하는 경향을 보였다.
• SUP 알고리즘은 높은 카탈로그 커버리지 성능을 달성하였고, 배우와 같은 관련 속성을 사용할 경우 콘텐츠 기반 필터링이 '좋은 항목'을 효과적으로 추천할 수 있음을 입증하였다. 이 속성은 강력한 예측 능력을 보였다.
• 성별 및 장르와 같은 속성은 낮은 성능을 보였으며, 이는 모든 항목 특성이 콘텐츠 기반 필터링에 동일하게 유용하지 않음을 시사한다. 특히 너무 일반적이거나 근본적인 속성은 성능에 부정적 영향을 미칠 수 있다.
• CiteULike 데이터셋에서는 사용자 간 협업 수준이 낮고 사용자-항목 상호작용이 희박하여 협업 필터링의 성능이 열악하게 나타났다. 이는 저협업 환경에서의 CF의 한계를 보여준다.
• 교차 분석 결과, CF와 CB 시스템은 대부분 겹치지 않는 항목을 추천함을 확인하였으며, 이는 두 시스템의 상호 보완성과 하이브리드 시스템 통합의 타당성을 뒷받침한다.
• MAP 결과로 볼 때, 속성 조합(배우 + 작가 + 감독)이 개별 속성보다 뛰어난 성능을 보였으며, 이는 다수의 특성을 조합함으로써 CB 추천 품질을 향상시킬 수 있음을 시사한다.