[논문 리뷰] Comprehensive Movie Recommendation System

Hrisav Bhowmick, Ananda Chatterjee외 1명|arXiv (Cornell University)|2021. 12. 23.

Image and Video Quality Assessment인용 수 10

한 줄 요약

이 논문은 내용 기반 필터링(TF-IDF, SVD), 협업 기반 필터링(Pearson 상관계수, 코사인 유사도, KNN) 및 장르 기반 관성 최적화를 활용한 새로운 군집화 방법을 통합한 종합적인 영화 추천 시스템을 제시한다. MovieLens 데이터셋(610명의 사용자, 9,742편의 영화)을 대상으로 평가한 결과, 다양한 알고리즘을 조합하고 군집 안정성을 관성 분석을 통해 검증함으로써 추천 정확도가 향상됨을 확인하였다.

ABSTRACT

A recommender system, also known as a recommendation system, is a type of information filtering system that attempts to forecast a user's rating or preference for an item. This article designs and implements a complete movie recommendation system prototype based on the Genre, Pearson Correlation Coefficient, Cosine Similarity, KNN-Based, Content-Based Filtering using TFIDF and SVD, Collaborative Filtering using TFIDF and SVD, Surprise Library based recommendation system technology. Apart from that in this paper, we present a novel idea that applies machine learning techniques to construct a cluster for the movie based on genres and then observes the inertia value number of clusters were defined. The constraints of the approaches discussed in this work have been described, as well as how one strategy overcomes the disadvantages of another. The whole work has been done on the dataset Movie Lens present at the group lens website which contains 100836 ratings and 3683 tag applications across 9742 movies. These data were created by 610 users between March 29, 1996, and September 24, 2018.

연구 동기 및 목표

• 다양한 필터링 기법을 통합한 통합 영화 추천 시스템을 설계하고 구현하는 것.
• 개별 추천 접근 방식(내용 기반, 협업 기반, 군집화)의 강점과 한계를 평가하는 것.
• 장르와 관성 기반 최적화를 활용한 새로운 군집 전략을 도입하여 군집 수를 최적화하는 것.
• 실제 세계 데이터셋을 사용하여 다양한 추천 알고리즘 간 성능을 비교하는 것.
• 추천 시스템의 쿨스타트 및 희소성 문제를 완화하는 종합적인 프레임워크를 제공하는 것.

제안 방법

• 시스템은 영화 특성의 TF-IDF 벡터화와 차원 감소 및 잠재 요인 모델링을 위한 SVD를 활용한 내용 기반 필터링을 적용한다.
• 협업 기반 필터링은 사용자-아이템 유사도를 측정하기 위해 피어슨 상관계수 계수와 코사인 유사도를 사용한다.
• K-최근접 이웃(KNN)은 유사한 사용자 또는 아이템 기반으로 평점을 예측하는 데 적용된다.
• 새로운 군집화 방법은 영화를 장르별로 그룹화하고, 관성과 함께 무릎 방법(Elbow method)을 사용해 최적의 군집 수를 결정한다.
• Surprise 라이브러리를 사용해 협업 기반 필터링 모델을 구현하고 기준을 설정한다.
• 모든 방법은 1996~2018년 동안의 100,836개의 평가, 3,683개의 태그, 9,742편의 영화, 610명의 사용자를 포함한 MovieLens 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 내용 기반, 협업 기반, 군집화와 같은 다양한 추천 기법이 MovieLens 데이터셋에서 정확도와 내구성 측면에서 어떻게 비교되는가?
• RQ2 관성 최적화를 통한 장르 기반 군집화가 추천 성능 향상과 군집 안정성 향상에 기여하는가?
• RQ3 개별 추천 전략의 핵심 한계는 무엇이며, 하이브리드 통합을 통해 어떻게 보완할 수 있는가?
• RQ4 TF-IDF, SVD 및 협업 기반 필터링의 조합이 종합적인 추천 품질 향상에 어떻게 기여하는가?
• RQ5 장르 기반 관성 분석을 바탕으로 한 영화 그룹화에 최적의 군집 수는 얼마인가?

주요 결과

• 내용 기반 및 협업 기반 필터링 기법의 장점을 조합함으로써 하이브리드 추천 시스템이 개별 방법보다 뛰어난 성능을 보였다.
• 장르 기반 군집화에서 관성의 활용은 최적의 군집 수를 식별하고, 추천 그룹의 안정성과 해석 가능성 향상에 기여했다.
• SVD 기반 차원 감소는 노이즈 감소에 효과적이며, 내용 기반 및 협업 기반 필터링 모델의 성능 향상에 기여했다.
• 피어슨 상관계수와 코사인 유사도를 활용한 협업 기반 필터링은 특히 사용자-아이템 상호작용이 밀도 높은 영역에서 평점 예측 성능이 뛰어났다.
• KNN 기반 접근법은 비슷한 사용자 또는 아이템 프로파일을 활용함으로써 희소 데이터 처리에 뛰어난 내구성을 보였다.
• 실제 세계 데이터셋에서 다양한 알고리즘 전략을 통합함으로써 시스템은 쿨스타트 및 희소성 문제를 성공적으로 해결하였다.