[논문 리뷰] DJ-MC: A Reinforcement-Learning Agent for Music Playlist Recommendation

Elad Liebman, Maytal Saar‐Tsechansky외 1명|arXiv (Cornell University)|2014. 01. 09.

Music and Audio Processing참고 문헌 22인용 수 9

한 줄 요약

DJ-MC는 실시간으로 개인화된 음악 플레이리스트를 생성하기 위해 개별 곡 선호도와 곡 전환 선호도를 모두 모델링하는 강화학습 에이전트이다. 25~50首의 곡을 통해 온라인으로 사용자 선호도를 학습함으로써 표준 곡 전용 추천 시스템을 뛰어넘으며, 순서 인식 추천을 통해 청취자 만족도를 크게 향상시킨다.

ABSTRACT

In recent years, there has been growing focus on the study of automated recommender systems. Music recommendation systems serve as a prominent domain for such works, both from an academic and a commercial perspective. A fundamental aspect of music perception is that music is experienced in temporal context and in sequence. In this work we present DJ-MC, a novel reinforcement-learning framework for music recommendation that does not recommend songs individually but rather song sequences, or playlists, based on a model of preferences for both songs and song transitions. The model is learned online and is uniquely adapted for each listener. To reduce exploration time, DJ-MC exploits user feedback to initialize a model, which it subsequently updates by reinforcement. We evaluate our framework with human participants using both real song and playlist data. Our results indicate that DJ-MC's ability to recommend sequences of songs provides a significant improvement over more straightforward approaches, which do not take transitions into account.

연구 동기 및 목표

• 개별 곡 선호도 외에도 곡 전환 선호도를 모델링함으로써 개인화된 음악 추천의 격차를 해소하고자 한다.
• 초기 정보가 최소한일지라도 사용자 선호도를 온라인으로 실시간으로 학습할 수 있는 실시간 적응형 추천 시스템을 개발하고자 한다.
• 플레이리스트(순서)를 고려한 추천이 개별 곡 추천보다 더 나은 청취자 경험을 제공하는지 평가하고자 한다.
• 강화학습 프레임워크가 제한된 사용자 피드백으로부터 종합적인 플레이리스트 선호도를 효과적으로 학습할 수 있음을 입증하고자 한다.

제안 방법

• 상태가 순서가 지정된 곡 시퀀스이고 행동이 다음 곡을 선택하는 것인 마르코프 결정 과정(MDP)을 사용하여 플레이리스트 추천을 순차적 의사결정 문제로 공식화한다.
• 개별 곡 보상과 연속된 곡 간 전환 보상 모두를 포함하는 보상 함수를 통해 사용자 선호도를 모델링한다.
• 실시간 사용자 피드백을 기반으로 선호도 모델을 업데이트함으로써 새로운 사용자에게도 신속히 적응할 수 있도록 온라인 학습을 활용한다.
• 탐색 시간을 줄이기 위해 초기 청취 세션에서의 사용자 피드백을 바탕으로 선호도 모델을 초기화한다.
• 다양한 사용자 연구에서의 성능 평가를 위해 부트스트랩 리샘플링과 통계 분석을 활용한다.
• 현실 세계의 음악 및 플레이리스트 데이터를 인간 참가자로부터 확보하여 실제 환경에서 프레임워크의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 개별 곡 선호도 외에도 곡 전환을 고려할 경우 더 나은 플레이리스트 추천이 이루어지는가?
• RQ2 강화학습 에이전트가 사용자 상호작용 25~50곡만으로도 개인화된 플레이리스트 선호도를 학습할 수 있는가?
• RQ3 순서 인식 추천이 곡 전용 추천과 비교해 사용자 만족도 측면에서 어떻게 다른가?
• RQ4 사용자 피드백을 얼마나 활용하여 플레이리스트 생성을 위한 선호도 모델을 초기화하고 정밀화할 수 있는가?

주요 결과

• DJ-MC는 전환 선호도를 고려함으로써 곡 전용 추천 베이스라인을 뛰어넘어 청취자 만족도가 높은 결과를 도출한다.
• 사용자에 대한 사전 지식이 전혀 없더라도 단일 청취 세션(25~50곡) 내에 효과적인 플레이리스트 선호도를 학습한다.
• 사용자 연구 결과, 순서 인식 추천이 누적 곡 보상과 전환 보상 측면에서 통계적으로 유의미한 소량의 향상을 이끌어낸다.
• 부트스트랩 리샘플링에서 유도된 히스토그램은 특히 청취 세션의 후반부(25~50곡)에서 일관된 성능 향상을 확인한다.
• 결과는 시뮬레이션 결과와 일치하며, 현실 세계 환경에서 전환을 모델링함으로써 추천 품질이 향상됨을 입증한다.