[논문 리뷰] On the Difficulty of Evaluating Baselines: A Study on Recommender Systems

Steffen Rendle, Li Zhang외 1명|arXiv (Cornell University)|2019. 05. 04.

Recommender Systems and Techniques인용 수 92

한 줄 요약

이 논문은 추천 시스템에서 기본 baselines를 올바르게 실행하는 것이 어렵다는 것을 보여준다; 간단한 baseline의 세심한 튜닝은 새로운 방법보다 우수할 수 있으며, 표준 벤치마크와 커뮤니티 주도 Baseline 튜닝의 필요성을 주장한다.

ABSTRACT

Numerical evaluations with comparisons to baselines play a central role when judging research in recommender systems. In this paper, we show that running baselines properly is difficult. We demonstrate this issue on two extensively studied datasets. First, we show that results for baselines that have been used in numerous publications over the past five years for the Movielens 10M benchmark are suboptimal. With a careful setup of a vanilla matrix factorization baseline, we are not only able to improve upon the reported results for this baseline but even outperform the reported results of any newly proposed method. Secondly, we recap the tremendous effort that was required by the community to obtain high quality results for simple methods on the Netflix Prize. Our results indicate that empirical findings in research papers are questionable unless they were obtained on standardized benchmarks where baselines have been tuned extensively by the research community.

연구 동기 및 목표

• 표준 벤치마크에서 Baselines를 적절히 튜닝하면 추천 시스템에서 강력한 성능이 달성될 수 있음을 보인다.
• 철저한 설정 하에 Movielens 10M의 잘 알려진 Baseline이 새로 제안된 방법들과 얼마나 비교되는지 평가한다.
• 실험적 신뢰성에 대해 Movielens 10M의 결과를 Netflix Prize 경험과 비교한다.

제안 방법

• vanilla 행렬 분해 설정으로 Movielens 10M에서 표준 Baseline을 재실행하고 튜닝한다.
• 다섯 가지 특징(user, item, time, implicit user info, implicit item info)를 갖는 팩터라이제이션 머신 프레임워크(libFM)를 사용한다.
• 다양한 임베딩 차원 및 샘플링 반복에 대해 Gibbs 샘플링을 이용한 베이지안 행렬 분해(BMF)와 SGD 기반 행렬 분해를 탐구한다.
• 시간 동역학 및 암묵적 피드백 모델(timeSVD++, SVD++ 변형 등)을 포함시켜 강력한 baseline을 재현한다.
• 기준선과 신기술 방법의 RMSE를 하나의 통합 표로 제시하여 보정과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 잘 튜닝된 바닐라 Baseline이 최근 제안된 추천 방법을 능가할 수 있는가?
• RQ2 baseline 실행의 난이도가 추천 시스템의 실험 결과의 신뢰도에 얼마나 영향을 미치는가?
• RQ3 Netflix Prize 실험에서 얻은 교훈 중 Movielens 10M의 baseline 보정 및 평가 관행에 어느 것이 전이되는가?
• RQ4 연구 간에 신뢰할 수 있고 비교 가능한 baseline 결과를 얻기 위해 필요한 실험 관행은 무엇인가?

주요 결과

• 철저하게 튜닝된 바닐라 행렬 분해 Baselines은 Movielens 10M에서 많은 최근 제안 방법들을 능가할 수 있다.
• 베이지안 MF(BPMF)와 SGD 기반 MF 방법은 적절히 구성되면 상당히 더 나은 RMSE를 달성할 수 있으며 때로는 새로운 모델을 이길 수 있다.
• 시간 인식 및 암묵적 피드백 향상(timeSVD++, timeSVD++ flipped 등)은 표준 MF Baseline를 넘어선 주목할 만한 RMSE 향상을 제공한다.
• Netflix Prize 경험은 잘 보정된 Baseline 평가가 광범위한 재훈련 및 앙상블 기법을 필요로 한다는 것을 보여주었으며, 이는 ML10M 평가에 일관되게 적용되지는 않았다.
• Standard statistical significance and reproducibility do not guarantee reliable conclusions if baselines are not properly tuned; standardized benchmarks and community tuning are essential.
• The study questions the reliability of empirical findings from one-off evaluations on non-standardized benchmarks and emphasizes community-driven baseline improvements.