[논문 리뷰] Empirical Analysis of Predictive Algorithms for Collaborative Filtering

John S. Breese, David Heckerman외 1명|arXiv (Cornell University)|2013. 01. 30.

Data Management and Algorithms참고 문헌 11인용 수 4,510

한 줄 요약

이 논문은 협업 필터링을 위한 다양한 예측 알고리즘을 비교한다. 상관 기반, 벡터 유사성, 베이지안 방법을 포함하며, 여러 도메인과 평가 지표에 걸쳐 검토한다.

ABSTRACT

Collaborative filtering or recommender systems use a database about user preferences to predict additional topics or products a new user might like. In this paper we describe several algorithms designed for this task, including techniques based on correlation coefficients, vector-based similarity calculations, and statistical Bayesian methods. We compare the predictive accuracy of the various methods in a set of representative problem domains. We use two basic classes of evaluation metrics. The first characterizes accuracy over a set of individual predictions in terms of average absolute deviation. The second estimates the utility of a ranked list of suggested items. This metric uses an estimate of the probability that a user will see a recommendation in an ordered list. Experiments were run for datasets associated with 3 application areas, 4 experimental protocols, and the 2 evaluation metrics for the various algorithms. Results indicate that for a wide range of conditions, Bayesian networks with decision trees at each node and correlation methods outperform Bayesian-clustering and vector-similarity methods. Between correlation and Bayesian networks, the preferred method depends on the nature of the dataset, nature of the application (ranked versus one-by-one presentation), and the availability of votes with which to make predictions. Other considerations include the size of database, speed of predictions, and learning time.

연구 동기 및 목표

• 다른 협업 필터링 알고리즘의 예측 정확도를 평가한다.
• 상관 기반, 벡터 기반 유사성, 베이지안 방법을 비교한다.
• 여러 데이터세트, 프로토콜 및 평가 지표에 걸쳐 성능을 평가한다.

제안 방법

• 협업 필터링에 대해 상관 기반, 벡터 유사성 및 베이지안 방법의 변형을 구현하고 비교한다.
• 두 가지 평가 지표를 사용한다: 평균 절대 편차와 랭크된 목록의 유용성.
• 세 가지 응용 도메인, 네 가지 프로토콜, 두 가지 지표에 걸쳐 실험을 수행한다.

실험 결과

연구 질문

• RQ1 데이터세트 전반에서 협업 필터링에 대한 예측 작업에서 어떤 예측 알고리즘(상관 기반, 벡터 유사도, 베이지안)이 더 높은 정확도를 보이는가?
• RQ2 의사 결정 트리를 포함한 베이지안 네트워크가 베이지안 클러스터링 및 벡터 유사도 방법과 다른 평가 지표 및 적용 설정에서 어떻게 비교되는가?
• RQ3 데이터세트 특성, 순위화 대 단일 항목 제시, 투표 가능성 등의 어떤 요인이 예측에 선호되는 방법에 영향을 미치는가?

주요 결과

• 각 노드에 의사 결정 트리를 갖는 베이지안 네트워크와 상관 방법은 종종 베이지안 클러스터링 및 벡터-유사성 방법보다 우수하게 성능을 발휘한다.
• 선호되는 방법은 데이터세트 특성과 응용 유형(랭크형 대 단일 항목 제시)에 따라 달라진다.
• 성능은 데이터세트 규모, 예측 속도, 학습 시간에 따라 달라진다.
• 문제 도메인과 실험 프로토콜에 따라 결과가 다르게 나타난다.