[논문 리뷰] The Importance of Song Context and Song Order in Automated Music Playlist Generation

Andreu Vall, Massimo Quadrana외 2명|arXiv (Cornell University)|2018. 07. 12.

Music and Audio Processing참고 문헌 10인용 수 4

한 줄 요약

이 논문은 세 가지 모델—인기도 기반, 협업 필터링, RNN—을 사용하여 두 개의 수작업으로 구성된 플리스트 데이터셋에서 자동 음악 플리스트 생성 시 곡의 맥락과 순서가 미치는 영향을 조사한다. 결과적으로 곡의 맥락은 추천 품질을 크게 향상시키지만, 인기도 편향이 이 효과를 가림으로써 가려질 수 있다. 반면 곡의 순서는 맥락을 초과하여 예측 성능을 높이지 못한다.

ABSTRACT

The automated generation of music playlists can be naturally regarded as a sequential task, where a recommender system suggests a stream of songs that constitute a listening session. In order to predict the next song in a playlist, some of the playlist models proposed so far consider the current and previous songs in the playlist (i.e., the song context) and possibly the order of the songs in the playlist. We investigate the impact of the song context and the song order on next-song recommendations by conducting dedicated off-line experiments on two datasets of hand-curated music playlists. Firstly, we compare three playlist models, each able to consider a different song context length: a popularity-based model, a song-based Collaborative Filtering (CF) model and a Recurrent-Neural-Network-based model (RNN). We also consider a model that predicts next songs at random as a reference. Secondly, we challenge the RNN model (the only model from the first experiment able to consider the song order) by manipulating the order of songs within playlists. Our results indicate that the song context has a positive impact on the quality of next-song recommendations, even though this effect can be masked by the bias towards very popular songs. Furthermore, in our experiments the song order does not appear as a crucial variable to predict better next-song recommendations.

연구 동기 및 목표

• 자동 플리스트 생성에서 곡의 맥락이 다음 곡 추천 품질에 미치는 영향을 평가하는 것.
• 맥락 중심 접근 방식과 비교하여 곡의 순서를 모델링함으로써 추천 성능이 향상되는 정도를 평가하는 것.
• 인기도 편향이 플리스트 추천 작업에서 모델 성능에 미치는 영향의 정도를 조사하는 것.
• 인기도 기반, 협업 필터링, RNN 등의 다양한 모델링 접근 방식이 수작업 플리스트 데이터에서 얼마나 효과적인지 비교하는 것.
• 플리스트 내 곡의 순서를 변형시켜 RNN 모델의 성능에 미치는 영향을 분리하여 그 탄력성을 테스트하는 것.

제안 방법

• 세 가지 모델을 평가: 인기도 기반, 곡 기반 협업 필터링(CF), 순환 신경망(RNN) 모델.
• 오프라인 실험을 수행하기 위해 수작업으로 구성된 두 개의 데이터셋을 사용.
• 플리스트 내 곡의 순서를 고려하여 순차적 종속성을 포착하도록 RNN 모델을 훈련.
• 플리스트의 곡 순서를 무작위로 섞어 RNN 예측에 대한 순서의 영향을 분리하기 위해 추론 분석을 실시.
• 표준 평가 지표(예: 정밀도, 재현율)를 사용하여 다양한 맥락 길이에서의 모델 성능을 비교.
• 임의의 다음 곡 예측을 기준선으로 삼아 우연의 추측 수준을 초월한 성능 향상을 측정.

실험 결과

연구 질문

• RQ1 곡의 맥락 길이를 늘일수록 다음 곡 추천의 품질은 어떻게 변화하는가?
• RQ2 맥락 중심 모델과 비교했을 때 곡의 순서를 모델링함으로써 추천 성능이 얼마나 향상되는가?
• RQ3 인기도 편향은 플리스트 추천 모델의 성능에 어떻게 영향을 미치는가?
• RQ4 RNN 기반 모델은 수작업 플리스트에서 곡의 순서를 효과적으로 활용하여 추천을 향상시킬 수 있는가?
• RQ5 예를 들어 무작위로 섞는 등의 곡 순서의 변형에 대해 RNN 모델은 얼마나 탄력적인가?

주요 결과

• 곡의 맥락은 추천 품질을 크게 향상시키며, 맥락 길이가 길수록 모든 모델에서 성능 향상이 뚜렷하다.
• 인기도 기반 모델은 맥락 인식 모델에 비해 성능이 열등하여, 단지 인기도만으로는 고성능 추천이 불가능하다는 것을 시사한다.
• RNN 모델은 인기도 기반 모델과 협업 필터링 모델을 모두 능가하며, 순차적 모델링의 가치를 입증한다.
• RNN이 순서를 모델링할 수 있음에도 불구하고, 플리스의 곡 순서를 섞는 조작이 예측 품질에 미치는 영향은 미미하여, 이 설정에서는 순서가 핵심 요소가 아니라는 것을 시사한다.
• 인기도 편향은 맥락의 긍정적 영향을 가리며, 순차적 종속성을 명시적으로 고려하지 않는 모델에서 특히 두드러진다.
• 순서 조작으로 성능 향상이 없음을 고려할 때, RNN이 학습한 순차적 패턴은 엄밀한 순서보다는 콘텐츠와 맥락에 더 영향을 받을 수 있음을 시사한다.