[논문 리뷰] Exploration in Interactive Personalized Music Recommendation: A Reinforcement Learning Approach

Wang Xin-xi, Yi Wang외 2명|arXiv (Cornell University)|2013. 11. 06.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 25

한 줄 요약

이 논문은 음악 콘텐츠와 곡의 신선함을 조합한 베이지안 평가 함수를 통해 사용자 선호도를 모델링하여 상호작용형 음악 추천에서 탐색과 이용의 균형을 이루는 강화학습 기반 다수의 손잡이 밴딧 프레임워크를 제안한다. 이 방법은 조각별 선형 근사와 변분 추론을 사용하여 효율적인 온라인 학습을 구현하며, 장기적인 추천 성능 향상과 동시에 노래 추천 및 플리스팅 생성을 위한 통합 모델링을 달성한다.

ABSTRACT

Current music recommender systems typically act in a greedy fashion by recommending songs with the highest user ratings. Greedy recommendation, however, is suboptimal over the long term: it does not actively gather information on user preferences and fails to recommend novel songs that are potentially interesting. A successful recommender system must balance the needs to explore user preferences and to exploit this information for recommendation. This paper presents a new approach to music recommendation by formulating this exploration-exploitation trade-off as a reinforcement learning task called the multi-armed bandit. To learn user preferences, it uses a Bayesian model, which accounts for both audio content and the novelty of recommendations. A piecewise-linear approximation to the model and a variational inference algorithm are employed to speed up Bayesian inference. One additional benefit of our approach is a single unified model for both music recommendation and playlist generation. Both simulation results and a user study indicate strong potential for the new approach.

연구 동기 및 목표

• 시간이 지남에 따라 탐색을 하지 못하는 게으른 추천 시스템의 열악한 성능을 해결하기 위해.
• 탐색을 통해 사용자 피드백을 능동적으로 수집하여 개인화된 음악 추천의 쿨스타트 문제를 완화하기 위해.
• 공동 평가 함수를 사용하여 음악 추천과 플리스팅 생성을 하나의 통합 모델로 통합하기 위해.
• 실시간 온라인 업데이트를 위한 베이지안 모델링을 스케일할 수 있는 효율적인 추론 기반 기반 개발하기 위해.

제안 방법

• 탐색-이용 균형 문제를 베이지안 평가 모델을 갖춘 다수의 손잡이 밴딧 문제로 수식화하기 위해.
• 사용자 평가를 콘텐츠 기반 요소(오디오 특징)와 신선함 요소(반복 패턴)의 곱으로 모델링하기 위해.
• 신선함 모델의 조각별 선형 근사를 사용하여 효율적인 베이지안 추론을 가능하게 하기 위해.
• 온라인 파rameter 업데이트를 위한 사후 분포 추정을 가속화하기 위해 변분 추론을 적용하기 위해.
• 콘텐츠와 신선함 요소를 통합된 평가 함수에 통합하여 개별 곡 추천과 플리스팅 생성을 모두 지원하기 위해.
• 초기 모델 훈련을 위한 정확한 추론을 MCMC를 활용하고, 확장 가능한 온라인 적응을 위해 변분 추론을 사용하기 위해.

실험 결과

연구 질문

• RQ1 탐색과 이용을 균형 잡은 강화학습 기반 접근이 게으른 방법에 비해 장기적인 음악 추천 성능을 향상시키는가?
• RQ2 오디오 콘텐츠와 곡의 신선함을 모두 포함한 베이지안 모델이 사용자 선호도의 역동성과 반복 패턴을 얼마나 효과적으로 포착하는가?
• RQ3 조각별 선형 근사는 정확도를 유지하면서 실시간 추론을 가능하게 하는가?
• RQ4 단일 통합 모델이 개인화된 곡 추천과 플리스팅 생성을 효과적으로 지원할 수 있는가?
• RQ5 신선함 모델링의 통합이 실제 사용자 행동, 예를 들어 곡 반복 패턴의 지프의 법칙을 더 잘 반영하는 추천을 이끌어내는가?

주요 결과

• 밴딧 기반 접근은 게으른 이용에 의존하는 것보다 사용자 선호도를 능동적으로 탐색함으로써 쿨스타트 문제를 크게 완화한다.
• 시뮬레이션 결과는 모델이 능동적인 탐색을 통해 사용자 선호도를 높은 정확도와 효율성으로 학습함을 확인한다.
• 조각별 선형 근사는 신선함 모델의 분석적 형태와 밀도 있게 일치하여 정확도와 실시간 학습에 적합함을 검증한다.
• 사용자 연구 결과는 제안된 방법이 추천 성능을 향상시키고, 지프의 법칙에 부합하는 반복 패턴을 포함한 사용자 행동을 더 잘 포착함을 보여준다.
• 통합 모델은 개별 곡 추천과 플리스팅 생성을 성공적으로 지원하며, 신선함 요소가 실제 청취 패턴을 효과적으로 모델링한다.
• 곱 기반 평가 함수를 통한 콘텐츠와 신선함 요소의 통합은 사용자 선호도를 정확히 반영하며, 변분 방법을 통한 확장 가능한 추론을 지원한다.