[논문 리뷰] Automatic, Personalized, and Flexible Playlist Generation using Reinforcement Learning

Shun-Yao Shih, Heng‐Yu Chi|arXiv (Cornell University)|2018. 09. 11.

Music and Audio Processing참고 문헌 17인용 수 4

한 줄 요약

이 논문은 음악 플리스트를 언어 modeling 설정에서 시퀀스로 모델링함으로써 강화학습 기반 프레임워크를 제안한다. 사용자별 보상 함수를 사용해 정교하게 조정된 정책 기반 최적화를 통해 주목적된 어텐션 강화 RNN 언어 모델을 사용하여, 개인화되고 탄력적이며 일관되고 다양하고 새로운, 트렌드를 반영한 플리스트를 자동으로 생성한다. 이는 기준 모델 대비 뛰어난 탄력성과 성능을 보여준다.

ABSTRACT

Songs can be well arranged by professional music curators to form a riveting playlist that creates engaging listening experiences. However, it is time-consuming for curators to timely rearrange these playlists for fitting trends in future. By exploiting the techniques of deep learning and reinforcement learning, in this paper, we consider music playlist generation as a language modeling problem and solve it by the proposed attention language model with policy gradient. We develop a systematic and interactive approach so that the resulting playlists can be tuned flexibly according to user preferences. Considering a playlist as a sequence of words, we first train our attention RNN language model on baseline recommended playlists. By optimizing suitable imposed reward functions, the model is thus refined for corresponding preferences. The experimental results demonstrate that our approach not only generates coherent playlists automatically but is also able to flexibly recommend personalized playlists for diversity, novelty and freshness.

연구 동기 및 목표

• 온라인 음악 스트리밍 서비스에서 대규모로 동적이고 개인화된 플리스트를 수동으로 구성하는 과제를 해결하기 위해.
• 다양성, 새로움, 곡의 신선도와 같은 다양한 사용자 선호도에 적응하는 자동 플리스트 생성을 가능하게 하기 위해.
• 사용자 선호도에 맞게 보상 함수의 가중치를 조정할 수 있는 실시간 조절이 가능한 탄력적인 시스템을 개발하기 위해.
• 암시적 사용자 선호도와 작은 데이터셋을 다루는 데 한계가 있는 전통적인 통계적 및 협업 필터링 방법의 한계를 극복하기 위해.

제안 방법

• 노래를 시퀀스 내 단어로 간주함으로써 음악 플리스트 생성 문제를 시퀀스 예측 문제로 재구성한다.
• k-최근접 이웃 검색을 통해 사용자-노래 이분 그래프에서 유도된 기준 플리스트를 기반으로 어텐션 기반 RNN 언어 모델(AC-RNN-LM)을 사전 훈련한다.
• 다양성, 새로움, 출시 연도에 대한 사용자별 보상 함수를 사용해 정책 기반 강화학습을 통해 사전 훈련된 모델을 미세 조정한다.
• 보상 함수의 가중 조합(예: 다양성을 위한 Distinct-1, 독창성을 위한 새로움 점수, 신선도를 위한 출시 연도)을 최적화하여 정책을 개선한다.
• 시퀀스 길이에 따른 편향을 피하기 위해 정규화되거나 근사된 지표를 사용하는 보상 함수 설계 전략을 도입한다.
• 보상 함수의 하이퍼파라미터 가중치 조정(예: 새로움에 대한 γ₂)을 통해 플리스트 속성의 탄력적인 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 강화학습이 다양성, 새로움, 신선도와 같은 사용자 선호도를 반영하는 개인화된 음악 플리스트 생성에 효과적으로 적용될 수 있는가?
• RQ2 어텐션 기반 RNN을 사용한 시퀀스 모델링 접근 방식이 전통적인 통계적 방법에 비해 플리스트의 순차적 일관성을 얼마나 잘 포착하는가?
• RQ3 보상 함수를 얼마나 잘 설계할 수 있는가? 특히 아티스트 다양성이나 곡의 최신성과 같은 특정 플리스트 속성을 제어할 수 있는가?
• RQ4 여러 상충되는 목표를 동시에 최적화할 때도 모델이 성능과 일관성을 유지할 수 있는가?
• RQ5 보상 함수의 선택이 모델이 편향 없이 고품질의 사용자 맞춤 플리스트를 생성하는 데 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 모든 평가 지표(다양성, 새로움, 신선도 포함)에서 기준 모델(Embedding 및 AC-RNN-LM)보다 뛰어난 일관성과 개인화된 플리스트를 생성한다.
• 단일 보상 함수(예: RL-DIST)로 최적화할 경우, 모델은 더 높은 고유 아티스트 수를 기록하며 Distinct-1 지표에서 뛰어난 성능을 보인다.
• 새로움 제어를 위해 모델의 새로움 점수는 보상 가중치 γ₂를 조정함으로써 체계적으로 조절 가능하며, 이는 다양한 사용자 선호도에 대한 제어 가능성을 보여준다.
• 다양성과 새로움과 같은 다중 목표 최적화를 수행할 경우에도, 단일 목표 기반 기준 모델보다 훨씬 뛰어난 품질의 플리스트를 생성한다.
• RL-NOVELTY로 훈련된 모델는 덜 알려진 곡들을 성공적으로 검색하여, 덜 인기 있고 새로운 콘텐츠를 생성할 수 있음을 확인한다.
• RL-YEAR로 훈련된 모델는 기준 모델보다 더 이른 출시 연도의 플리스트를 생성하여 시간적 신선도 제어가 효과적으로 이루어졌음을 확인한다.