[논문 리뷰] On the Generalizability and Predictability of Recommender Systems

Duncan C. McElfresh, Sujay Khandagale외 3명|arXiv (Cornell University)|2022. 06. 23.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 새로운 데이터셋에 대해 데이터셋 메타특성들을 사용하여 최적의 추천 시스템 알고리즘과 하이퍼파rameter를 예측하는 메타학습 프레임워크인 RecZilla를 제안한다. 85개의 데이터셋과 315개의 메트릭을 대상으로 24개의 알고리즘에 대한 대규모 연구를 통해, 성능은 데이터셋과 메트릭에 매우 의존하지만, 메타특성이 알고리즘 성공 여부를 강력하게 예측함을 입증한다. 이에 따라 RecZilla는 새로운 데이터에 대해 인간의 모델 선택 노력과 비용을 크게 줄이며 높은 정확도를 달성한다.

ABSTRACT

While other areas of machine learning have seen more and more automation, designing a high-performing recommender system still requires a high level of human effort. Furthermore, recent work has shown that modern recommender system algorithms do not always improve over well-tuned baselines. A natural follow-up question is, "how do we choose the right algorithm for a new dataset and performance metric?" In this work, we start by giving the first large-scale study of recommender system approaches by comparing 18 algorithms and 100 sets of hyperparameters across 85 datasets and 315 metrics. We find that the best algorithms and hyperparameters are highly dependent on the dataset and performance metric, however, there are also strong correlations between the performance of each algorithm and various meta-features of the datasets. Motivated by these findings, we create RecZilla, a meta-learning approach to recommender systems that uses a model to predict the best algorithm and hyperparameters for new, unseen datasets. By using far more meta-training data than prior work, RecZilla is able to substantially reduce the level of human involvement when faced with a new recommender system application. We not only release our code and pretrained RecZilla models, but also all of our raw experimental results, so that practitioners can train a RecZilla model for their desired performance metric: https://github.com/naszilla/reczilla.

연구 동기 및 목표

• 추천 시스템 알고리즘이 다양한 데이터셋과 성능 메트릭 간에 일반화되는지 조사하기 위해.
• 알고리즘 성능, 런타임, 데이터셋의 어려움을 예측할 수 있는 메타특성을 규명하기 위해.
• 새로운 데이터셋에 대해 알고리즘과 하이퍼파rameter 선택을 자동화하는 확장 가능한, 메트릭에 관계없는 메타학습 시스템을 개발하기 위해.
• 공개 리포지터리에 실험 데이터, 코드, 사전학습 모델을 모두 포함하여 커뮤니티가 사용할 수 있도록 제공하기 위해.

제안 방법

• 저자는 10시간 이내에 한 쌍의 데이터셋과 메트릭에 대해 최대 100개의 하이퍼파라미터 설정을 포함한 24개의 추천 알고리즘을 비교하는 대규모 실험적 연구를 수행한다.
• 각 데이터셋으로부터 18개의 메타특성(사용자/아이템 수, 평점 분포 통계, 상호작용 행렬의 스펙트럼적 성질 등)을 추출한다.
• 다양한 데이터셋과 메트릭에서 알고리즘 성능를 포함하는 메타데이터셋을 기반으로 메타학습 파이프라인을 구축하여, 새로운 입력에 대해 최적의 알고리즘과 하이퍼파라미터를 예측할 수 있도록 한다.
• RecZilla 모델은 XGBoost 또는 기타 메타러닝 모델을 사용하여 메타특성 기반으로 최적의 알고리즘과 하이퍼파라미터를 예측하며, 메타학습 데이터셋 크기와 특성 수에 대한 아블레이션 연구를 수행한다.
• 사용자 정의 메트릭을 위한 파인튜닝이 가능한 사전학습 모델과 일반적인 메트릭(예: PREC@10, NDCG@10)에 대한 사전학습 모델을 모두 지원한다.
• 저자는 공개 코드베이스를 제공하며, 통합 API, 원본 결과, 사전학습 모델을 포함한다. https://github.com/naszilla/reczilla.

실험 결과

연구 질문

• RQ1 추천 시스템 알고리즘의 성능는 다양한 데이터셋과 사용자 정의 메트릭 간에 어떻게 달라지나?
• RQ2 데이터셋 메타특성은 알고리즘 성능, 런타임, 높은 성능 모델을 찾는 데의 어려움을 예측할 수 있는가?
• RQ3 특정 데이터셋에서 최고 성능을 내는 알고리즘 또는 하이퍼파라미터 설정과 메타특성 간에 유의미한 상관관계가 있는가?
• RQ4 메타학습 데이터셋의 크기가 메타러너가 최적의 알고리즘을 선택하는 데 영향을 미치는가?
• RQ5 RecZilla와 같은 메트릭에 관계없고 하이퍼파라미터를 고려하는 메타학습 시스템은 최소한의 인간 간섭으로 수동 튜닝을 능가할 수 있는가?

주요 결과

• 최적의 추천 시스템 알고리즘과 하이퍼파라미터는 데이터셋과 성능 메트릭에 따라 크게 달라지며, 유일한 최적 선택지는 존재하지 않는다.
• 사용자/아이템 수, 평점 분포 백분위수, 상호작용 행렬의 스펙트럼적 성질 등의 데이터셋 메타특성은 알고리즘 성능을 강력하게 예측할 수 있다.
• RecZilla는 새로운 데이터셋에 대해 최적의 알고리즘과 하이퍼파라미터를 높은 정확도로 예측하여 수동 튜닝의 필요성을 크게 줄인다.
• 더 큰 메타학습 데이터셋을 사용할수록 성능이 크게 향상되며, 최적의 결과를 얻기 위해 사용하는 메타특성 수는 10에서 40 사이에 적합하다.
• XGBoost 기반 메타러너는 선형 모델과 무작위 기반 모델보다 성능이 뛰어나며, 더 많은 메타데이터셋이 포함될수록 성능 향상이 증가한다.
• 프레임워크는 메트릭에 관계없이 일반화된다: RecZilla는 PREC@10 외에도 COVERAGE@50 또는 HIT-RATE@5에 대해 훈련된 경우에도 강력한 성능을 유지한다.