[논문 리뷰] Mood Classification Using Listening Data

Filip Korzeniowski, Oriol Nieto외 4명|arXiv (Cornell University)|2020. 10. 11.

Music and Audio Processing참고 문헌 39인용 수 4

한 줄 요약

이 논문은 AllMusic의 전문가가 달아준 분류 기반의 67,000곡으로 구성된 새로운 데이터셋을 바탕으로, 사용자 행동 데이터에서 유도한 听取 기반 임베딩을 음악 분위기 분류에 활용하는 것을 제안한다. 그 결과, 청취 기반 임베딩이 오디오 기반 임베딩보다 성능이 뛰어나며, 다양한 오디오 모델을 고려할지라도 청취 행동에서 유도된 협업 필터링 신호가 분위기 관련 패턴을 더 효과적으로 포착함을 입증한다.

ABSTRACT

The mood of a song is a highly relevant feature for exploration and recommendation in large collections of music. These collections tend to require automatic methods for predicting such moods. In this work, we show that listening-based features outperform content-based ones when classifying moods: embeddings obtained through matrix factorization of listening data appear to be more informative of a track mood than embeddings based on its audio content. To demonstrate this, we compile a subset of the Million Song Dataset, totalling 67k tracks, with expert annotations of 188 different moods collected from AllMusic. Our results on this novel dataset not only expose the limitations of current audio-based models, but also aim to foster further reproducible research on this timely topic

연구 동기 및 목표

• 음악 분위기 인식 분야의 재현 가능한 연구를 위해 대규모 전문가 주석이 부여된 음악 트랙과 분위기 간의 연결 데이터셋을 개발하는 것.
• 청취 기반 임베딩이 오디오 기반 모델을 초월해 분위기 분류 성능을 향상시킬 수 있는지 조사하는 것.
• 공동으로 사용 가능한 고품질의 분위기 주석 데이터셋에서 오디오 기반 및 청취 기반 임베딩의 성능을 평가하는 것.
• 태그 빈도와 모델 아키텍처가 분위기 예측 성능에 미치는 영향을 분석하는 것.
• 현재 오디오 기반 모델이 오디오 신호에서 직접 추출할 수 없는 분위기 정보를 얼마나 잘 포착하지 못하는지에 대한 한계를 탐색하는 것.

제안 방법

• 밀리언 송 데이터셋의 테이스트 프로파일 서브셋에서 유래한 66,993개의 트랙을 AllMusic의 전문가 주석과 매칭하여 AMS 데이터셋을 구축하였다.
• 최신 기술 기반의 모델을 사용하여 오디오 기반 임베딩을 추출하였으며, 이는 사전 훈련 및 미세조정된 변종을 포함한다 (예: MCN-MSD-A, SCC-A).
• 동일한 데이터셋에서 음악 재생 수 등의 암시적 청취 행동을 기반으로 행렬 분해를 통해 청취 기반 임베딩을 생성하였다.
• 오디오 및 청취 기반 임베딩을 입력 특징으로 사용하여 다중 레이블 분류 모델을 훈련시켰다.
• 각 태그의 평균 정밀도를 사용하여 모델 성능을 평가하고, 다양한 태그 빈도에 따른 성능을 분석하였다.
• 오디오 기반 및 청취 기반 임베딩 간의 태그별 성능 상관관계를 비교하여 공유 정보를 얼마나 잘 포착하는지 평가하였다.

실험 결과

연구 질문

• RQ1 대규모 전문가 주석 데이터셋에서 청취 기반 임베딩이 오디오 기반 모델보다 음악 분위기 분류 성능에서 뛰어나게 되는가?
• RQ2 분위기 태그의 빈도는 오디오 및 청취 기반 모델의 성능에 어떤 영향을 미치는가?
• RQ3 다양한 오디오 기반 모델들이 유사한 분위기 관련 정보를 얼마나 잘 포착하는가? 이는 청취 기반 모델과 비교해 볼 때 어떠한가?
• RQ4 신호 유형(암시적 피드백 대 명시적 피드백)은 분위기 분류 모델의 성능에 어떤 역할을 하는가?
• RQ5 특정 분위기 카테고리가 본질적으로 더 예측하기 어려운가? 이러한 카테고리는 데이터 모odal 또는 모델 유형과 관련이 있는가?

주요 결과

• 청취 기반 임베딩은 분위기 분류 작업 전반에서 평균 정밀도 측면에서 모든 오디오 기반 모델보다 끊임없이 뛰어난 성능을 보였다.
• 기밀성 있는 청취 모델(P-L)은 공개된 TP-L 모델보다 더 높은 성능을 보였으며, 이는 3,500배 더 큰 데이터셋과 더 강력한 명시적 피드백 신호 덕분으로 기인한다.
• 오디오 기반 모델들은 태그별 성능에서 높은 상관관계를 보이며, 이는 유사하지만 최적화되지 않은 분위기 표현을 학습하고 있음을 시사한다.
• 청취 기반 모델(TP-L 및 P-L)은 상호 상관관계가 낮아, 서로 다른 또는 더 다양한 분위기 패턴을 포착하고 있음을 시사한다.
• 태그 빈도는 성능에 중간 정도의 영향을 미쳤지만, 오디오 및 청취 기반 모델 모두 유사하게 영향을 받았으며, SCC-A를 제외한 모든 모델에서 동일한 경향을 보였다. 다만 SCC-A는 태그 희소성으로 인해 더 큰 손실을 입었다.
• 결과적으로 현재 오디오 기반 모델들이 청취 행동에 존재하는 일부 분위기 관련 정보를 추출하지 못하고 있음을 시사하며, 이는 분위기 신호가 오직 오디오 신호에만 완전히 코딩되어 있지 않다는 것을 의미한다.