[논문 리뷰] A multinomial probabilistic model for movie genre predictions

Eric Makita, Artem Lenskiy|arXiv (Cornell University)|2016. 03. 25.

Recommender Systems and Techniques참고 문헌 7인용 수 3

한 줄 요약

이 논문은 사용자 평가를 기반으로 영화 장르를 예측하기 위해 나이브 베이즈를 사용하는 다항 확률 모델을 제안한다. 장르 예측을 분류 문제로 간주하며, 단지 15%의 MovieLens 데이터셋을 훈련에 사용함으로써 70%의 장르 예측 정확도를 달성한다. 이는 소규모 훈련 세트에서도 사용자 평가 패턴만으로도 높은 정확도로 영화 장르를 효과적으로 추론할 수 있음을 보여준다.

ABSTRACT

This paper proposes a movie genre-prediction based on multinomial probability model. To the best of our knowledge, this problem has not been addressed yet in the field of recommender system. The prediction of a movie genre has many practical applications including complementing the items categories given by experts and providing a surprise effect in the recommendations given to a user. We employ mulitnomial event model to estimate a likelihood of a movie given genre and the Bayes rule to evaluate the posterior probability of a genre given a movie. Experiments with the MovieLens dataset validate our approach. We achieved 70% prediction rate using only 15% of the whole set for training.

연구 동기 및 목표

• 전문가가 라벨링한 카테고리 외의 항목 장르를 추론하지 못하는 추천 시스템의 격차를 해소하기 위해.
• 다양성, 신선함, 우연의 발견을 지원하는 장르 예측을 통해 추천 품질을 향상시키기 위해.
• 메타데이터에 의존하지 않고도 사용자 평가 패턴만으로도 영화 장르를 신뢰성 있게 예측할 수 있는지 탐색하기 위해.
• 실제 사용자 평가 데이터를 활용하여 다항 확률 모델의 장르 예측 효과성을 검증하기 위해.

제안 방법

• 모델은 사용자 평가 패턴을 바탕으로 장르에 따라 영화의 가능성을 추정하기 위해 다항 사건 모델을 사용한다.
• 베이지안 추론을 적용하여 영화의 평가 프로파일이 주어졌을 때 장르의 사후 확률을 계산한다.
• 조건부 독립성을 가정하는 나이브 베이즈 분류기를 사용한다. 이는 사용자 간 평가 값이 서로 조건부로 독립적이라고 보는 것이다.
• 사전 확률는 데이터셋 내 장르의 빈도에서 추정하고, 조건부 확률는 각 장르별 평가 분포에서 유도한다.
• 예측은 각 평가 값(1에서 5까지) 별로 수행되며, 여러 장르가 할당된 경우 그 중 하나와 일치하면 성공으로 간주한다.
• 수치적 언플로우를 방지하고 계산 안정성을 향상시키기 위해 로그 확률을 사용한다.

실험 결과

연구 질문

• RQ1 사용자 평가 패턴만으로도 높은 정확도로 영화 장르를 예측할 수 있는가?
• RQ2 훈련 세트의 크기가 다항 모델의 장르 예측 성능에 어떤 영향을 미치는가?
• RQ3 모델이 특정 평가 수준(예: 중립 또는 약간 긍정적)에서는 다른 수준보다 더 잘 작동하는가?
• RQ4 예상치 못한데도 관련성이 있는 장르를 식별함으로써 추천의 다양성을 향상시킬 수 있는가?

주요 결과

• 모델은 MovieLens 데이터셋의 단지 15%만을 훈련 데이터로 사용해도 70%의 장르 예측 정확도를 달성한다.
• 훈련에 단지 5%의 데이터만 사용해도 모델은 62%의 예측 정확도를 기록하며, 이는 무작위 추측(30% 정확도)보다 뚜렷이 높은 성능이다.
• 훈련 세트가 커질수록 예측 정확도는 향상되지만, 초기 5% 데이터 이후에는 향상 속도가 점점 둔화된다.
• 가장 높은 예측 정확도는 3점(중립)과 4점(약간 좋아함) 평가에서 관찰되며, 이는 데이터셋에서 가장 빈도가 높은 평가 카테고리이기 때문이다.
• 가장 낮은 예측 정확도는 1점(강한 싫어함)과 2점(약간 싫어함) 평가에서 관찰되며, 이는 데이터 빈도가 낮고 불확실성이 높기 때문일 것이다.
• 모델은 소규모 훈련 데이터로도 사용자 평가 프로파일만으로도 영화 장르를 효과적으로 추론할 수 있음을 입증한다.