[논문 리뷰] Towards Playlist Generation Algorithms Using RNNs Trained on Within-Track Transitions

Keunwoo Choi, George Fazekas외 1명|arXiv (Cornell University)|2016. 06. 07.

Music and Audio Processing참고 문헌 24인용 수 7

한 줄 요약

이 논문은 고수준 음악 기술자료의 내부 트랙 전환에 대해 RNN을 훈련시어 매끄럽고 일관된 트랙 전환을 모델링하는 새로운 플리스트 생성 방법을 제안한다. 구조적 세분화와 동적 누적 수익(DCG) 유사도를 활용하여, 코사인 및 L2 거리 측정법에 비해 더 높은 일관성과 놀라움을 갖춘 플리스트를 생성한다.

ABSTRACT

We introduce a novel playlist generation algorithm that focuses on the quality of transitions using a recurrent neural network (RNN). The proposed model assumes that optimal transitions between tracks can be modelled and predicted by internal transitions within music tracks. We introduce modelling sequences of high-level music descriptors using RNNs and discuss an experiment involving different similarity functions, where the sequences are provided by a musical structural analysis algorithm. Qualitative observations show that the proposed approach can effectively model transitions of music tracks in playlists.

연구 동기 및 목표

• 매끄러운 전환을 갖는 고품질의 일관된 음악 플리스트를 생성하는 데 도전하는 것.
• 플리스트 모델링에서의 데이터 부족 문제를 극복하기 위해 내부 트랙 전환을 훈련 신호로 활용하는 것.
• 내부 트랙 구조에 기반한 RNN 훈련이 어떻게 외부 트랙 전환 예측으로 일반화될 수 있는지 탐색하는 것.
• 다양한 유사도 함수(코사인, L2, DCG)가 플리스트 품질과 일관성에 미치는 영향을 평가하는 것.
• 일관된 특징과 변동성이 있는 특징이 RNN 기반 예측을 통해 플리스트의 일관성을 유지하는 데 어떻게 기여하는지 조사하는 것.

제안 방법

• 자기 유사성 분석과 특징 추출을 사용하여 음악 트랙을 구조적 부분(예: 코러스, 후렴 등)으로 세분화한다.
• 각 세그먼트에서 고수준 음악 기술자료를 추출하고, 이를 RNN 훈련을 위한 순차적 특징 벡터로 구성한다.
• 이러한 내부 트랙 특징 시퀀스의 시간적 의존성을 모델링하기 위해 길이 50인 RNN을 훈련시킨다.
• 플리스트 생성을 위해 시드 트랙의 마지막 N개 세그먼트를 훈련된 RNN에 입력하여 다음 특징 벡터를 예측한다.
• 예측된 벡터와 후보 트랙의 시작 세그먼트 간의 유사도를 기반으로 대상 트랙을 선택한다.
• 트랙 선택을 위해 코사인 거리, L2 노름, 및 동적 누적 수익(DCG)의 세 가지 유사도 함수를 비교한다.

실험 결과

연구 질문

• RQ1 내부 트랙 전환에 대해 훈련된 RNN이 플리스트 생성을 위한 외부 트랙 전환을 효과적으로 모델링할 수 있는가?
• RQ2 다양한 유사도 함수(코사인, L2, DCG)가 생성된 플리스트의 일관성과 다양성에 어떤 영향을 미치는가?
• RQ3 RNN이 내부 트랙 구조에서 일관성 있고 동적인 특징 패턴을 얼마나 잘 학습하여 플리스트 흐름을 이끌 수 있는가?
• RQ4 표준 측정법에 비해 DCG를 유사도 측정법으로 사용할 경우 플리스트 품질이 향상되는가?
• RQ5 RNN 기반 모델이 장기간의 일관성을 유지하는 데 있어 어떤 한계를 갖는가?

주요 결과

• RNN 모델은 트랙 내부에서 일관성 있고 동적인 특징 패턴을 효과적으로 포착하여 일관된 플리스트 생성이 가능하다.
• DCG는 코사인 거리와 L2 노름을 모두 능가하여 더 높은 일관성과 우수한 전환 품질을 갖춘 플리스트를 생성했다.
• 장기간 플리스트에서 전체 유사성을 놓치는 경향이 있으며, 이는 짧은 세그먼트 길이와 RNN이 최근 입력을 우선시하는 성향 때문일 가능성이 높다.
• 내부 트랙 전환에 대해 훈련된 RNN은 외부 트랙 전환으로 일반화되어 바람직한 음악 전환을 효과적으로 모델링할 수 있다.
• DCG의 사용은 예측에서 일관되게 큰 특징 값을 우선시함으로써 트랙 선택을 향상시켜 플리스트의 일관성을 강화한다.
• 한계가 있음에도 불구하고, 이 접근법은 내부 트랙 구조적 전환을 플리스트 생성에서 RNN 훈련을 위한 타당하고 확장 가능한 신호로 제공할 수 있음을 보여준다.