[논문 리뷰] Using offline metrics and user behavior analysis to combine multiple systems for music recommendation

Andrés Ferraro, Dmitry Bogdanov외 2명|arXiv (Cornell University)|2019. 01. 08.

Recommender Systems and Techniques참고 문헌 22인용 수 8

한 줄 요약

이 논문은 사용자 행동 특징을 기반으로 각 시스템의 예상 성능을 예측하는 회귀 모델을 활용하여 협업 필터링(행렬 분해)과 인기 기반 시스템을 개인화된 방식으로 융합하는 음악 추천 방법을 제안한다. 이 방법은 nDCG@500 및 다양성과 같은 목표 지표를 최적화하며, 실제 Melon 스트리밍 데이터를 바탕으로 기존의 기준보다 여러 지표에서 뛰어난 성능을 보여준다.

ABSTRACT

There are many offline metrics that can be used as a reference for evaluation and optimization of the performance of recommender systems. Hybrid recommendation approaches are commonly used to improve some of those metrics by combining different systems. In this work we focus on music recommendation and propose a new way to improve recommendations, with respect to a desired metric of choice, by combining multiple systems for each user individually based on their expected performance. Essentially, our approach consists in predicting an expected error that each system will produce for each user based on their previous activity. To this end, we propose to train regression models for different metrics predicting the performance of each system based on a number of features characterizing previous user behavior in the system. We then use different fusion strategies to combine recommendations generated by each system. Following this approach one can optimize the final hybrid system with respect to the desired metric of choice. As a proof of concept, we conduct experiments combining two recommendation systems, a Matrix Factorization model and a popularity-based recommender. We use the data provided by Melon, a Korean music streaming service, to train and evaluate the performance of the systems.

연구 동기 및 목표

• 음악 추천 시스템에서 고정된 지표 최적화의 한계를 해결하기 위해 동적이고 사용자별로 맞춤화된 시스템 조합을 가능하게 하기 위해.
• 각 사용자별로 예측된 성능에 기반해 다수의 시스템(예: 행렬 분해 및 인기 기반)을 융합하여 추천 품질을 향상시키기 위해.
• MAP나 RMSE와 같은 단일 지표에 의존하는 대신, 다양성과 순위 정확도를 포함한 광범위한 오프라인 지표 세트를 통해 하이브리드 시스템을 평가하기 위해.
• 사용자 행동 패턴이 개별 사용자에게 대해 협업 필터링 vs. 인기 기반 시스템 중 어느 것이 더 잘 작동할지 예측하는 데 신뢰할 수 있는가를 조사하기 위해.
• 행동 특징에 기반한 회귀 모델을 통해 융합 가중치를 최적화하면, nDCG@500와 같은 목표 지표에서 뛰어난 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 사용자 청취 이력에서 파생된 특징을 사용하여 각 사용자별로 회귀 모델을 훈련시어, 각 구성 시스템(예: 암시적 피드백용 SVD, 인기 기반)의 예상 오차(또는 성능)를 예측한다.
• 반복된 아티스트 비율, 세션 기반 청취 패턴, 전반적인 청취 통계와 같은 특징을 사용자 행동을 입력으로 삼는 데 사용한다.
• 개인화된 융합 전략—특히 사용자별로 학습된 가중치를 갖는 순위 융합—을 적용하며, 각 시스템의 가중치는 그 성능 예측값에 의해 결정된다.
• 회귀 모델 훈련의 목표로 관심 있는 지표(예: nDCG@500)를 선택하여 융합 과정을 최적화한다.
• 200만 명의 사용자, 2억 1100만 건의 이벤트를 포함한 대규모 Melon 데이터셋을 활용해 시스템을 훈련하고 평가하며, 여러 오프라인 지표를 통해 검증한다.
• FUSE, SELECT 등의 융합 전략을 비교하고, 정밀도, 다양성, 정규화된 할당 누적 이득(nDCG)과 같은 지표에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 사용자 행동 특징이 개인별로 각 추천 시스템(예: 행렬 분해 vs. 인기 기반)의 예상 성능을 신뢰성 있게 예측할 수 있는가?
• RQ2 예측된 성능에 기반해 다수의 시스템을 융합하는 것이 단일 시스템을 사용할 때보다 순위 정확도가 향상되는가?
• RQ3 nDCG@500와 같은 특정 지표를 최적화하면서도 다양성 및 정밀도와 같은 다른 지표에서도 개선 효과를 유지할 수 있는가?
• RQ4 행동 패턴에 기반한 융합 가중치의 개인화가 고정 또는 전역 융합 대비 전체 추천 품질에 어떤 영향을 미치는가?
• RQ5 세션 수준의 행동 특징이 성능 예측에 있어 전역 특징보다 얼마나 더 뛰어난가?

주요 결과

• nDCG@500에 최적화된 하이브리드 시스템이 대부분의 평가 지표에서 기준 모델들을 능가하는 최상의 전반적 성능을 달성했다.
• FUSE-nDCG@500 융합 전략은 500에서 정규화된 할당 누적 이득 0.780을 기록하여 인기 기반 기준(0.754)과 SVD 기준(0.744)보다 유의미하게 향상되었다.
• 회귀 기반 가중치를 활용한 개인화된 융합 전략은 다양성을 향상시켰으며, 이는 인기 기반 기준 대비 평균 nDCG@10 지표에서 12.57% 향상된 것으로 나타났다.
• 이 방법은 인기 기반 기준 대비 SELECT-nDCG@10 지표에서 2500배 향상된 성능을 기록하여, 짧은 목록 추천에서 뛰어난 성능을 보였다.
• 세션 기반 특징, 특히 세션 내 반복된 아티스트 비율이 전역 특징보다 성능 추정에 더 예측 능력이 뛰어났다.
• 행동 패턴에 기반한 회귀 모델이 시스템 성능을 성공적으로 예측하여, 사용자별로 적절한 시스템 선택 및 융합을 효과적으로 가능하게 했다.