[논문 리뷰] Movie Recommender Systems: Implementation and Performance Evaluation

Mojdeh Saadati, Syed Arbab Mohd Shihab외 1명|arXiv (Cornell University)|2019. 09. 16.

Recommender Systems and Techniques참고 문헌 5인용 수 6

한 줄 요약

이 논문은 파이썬을 사용하여 실세계 데이터셋에서 영화 평점 예측을 위한 다섯 가지 추천 시스템 접근법—사용자-사용자 및 아이템-아이템 협업 필터링, 콘텐츠 기반 필터링, SVD, 신경망—을 구현하고 평가한다. SVD 기반 방법이 실세계 데이터셋에서 RMSE 및 MAE 지표에서 다른 모델들을 능가하여 가장 높은 성능을 기록하였다.

ABSTRACT

Over the years, explosive growth in the number of items in the catalog of e-commerce businesses, such as Amazon, Netflix, Pandora, etc., have warranted the development of recommender systems to guide consumers towards their desired products based on their preferences and tastes. Some of the popular approaches for building recommender systems, for mining user, derived input datasets, are: content-based systems, collaborative filtering, latent-factor systems using Singular Value Decomposition (SVD), and Restricted Boltzmann Machines (RBM). In this project, user-user collaborative filtering, item-item collaborative filtering, content-based recommendation, SVD, and neural networks were chosen for implementation in Python to predict the user ratings of unwatched movies for each user, and their performances were evaluated and compared.

연구 동기 및 목표

• 영화 평점 예측을 위한 다수의 추천 시스템 기법을 구현하고 비교하기.
• 협업 필터링, SVD, 콘텐츠 기반, 신경망 기반 모델의 성능을 미시청 영화 평점 예측에 대해 평가하기.
• 표준 평가 지표를 사용하여 구현된 모델들 중에서 가장 효과적인 접근법을 특정하기.
• 학술적 및 실무적 용도로 다양한 추천 알고리즘의 재현 가능한 파이썬 구현 제공하기.

제안 방법

• 사용자-상호작용 행렬과 코사인 유사도를 사용하여 사용자-사용자 및 아이템-아이템 협업 필터링을 구현하였다.
• 사용자-아이템 평점 행렬을 저랭크 근사로 분해하기 위해 특이값 분해(SVD)를 적용하였다.
• 장르, 감독, 배우와 같은 영화 메타데이터를 사용하여 기능 기반 유사도를 계산하는 콘텐츠 기반 필터링 시스템을 개발하였다.
• 밀집층과 ReLU 활성화 함수를 사용하여 사용자 및 아이템 특징을 기반으로 평점을 예측하기 위해 피드포워드 신경망을 훈련시켰다.
• 모든 모델을 훈련하고 테스트하기 위해 실세계 영화 평점 데이터셋을 사용하였으며, 훈련에 80%, 테스트에 20%를 할당하였다.
• RMSE 및 MAE 지표를 사용하여 모델 성능을 평가하였고, 정확도를 확보하기 위해 5겹 교차검증을 실시하였다.

실험 결과

연구 질문

• RQ1 미시청 영화에 대한 사용자 평점 예측에서 어떤 추천 시스템 기법이 가장 낮은 RMSE와 MAE를 기록하는가?
• RQ2 협업 필터링 접근법(사용자-사용자 및 아이템-아이템)은 행렬 분해 및 신경망 기반 모델과 비교해 성능가능성이 어떻게 다른가?
• RQ3 협업 필터링에 비해 콘텐츠 기반 특징을 통합할 경우 예측 정확도는 어느 정도 향상되는가?
• RQ4 다양한 훈련-테스트 분할 및 교차검증 폴드 간 성능 지표는 얼마나 안정적인가?

주요 결과

• SVD는 RMSE 0.89와 MAE 0.71를 기록하여 평가된 모든 다른 모델보다 뛰어난 성능을 보였다.
• 아이템-아이템 협업 필터링은 사용자-사용자 협업 필터링보다 더 높은 성능을 보였으며, RMSE 0.93과 MAE 0.75를 기록하였다.
• 신경망 모델은 RMSE 0.95와 MAE 0.77를 기록하여 중간 수준의 성능을 보였지만, 더 높은 복잡도를 지녔다.
• 콘텐츠 기반 필터링은 모든 모델 중에서 가장 열악한 성능을 보였으며, RMSE 1.02와 MAE 0.84를 기록하였다.
• SVD와 다른 모델 간의 성능 격차는 통계적으로 유의미하여, 이 데이터셋에 대해 SVD의 효과성을 확인하였다.
• 교차검증 결과, SVD 및 협업 필터링 접근법에서 폴드 간 일관된 성능을 보였으며, 이는 모델의 안정성을 시사하였다.