[논문 리뷰] A Dataset and Baselines for Measuring and Predicting the Music Piece Memorability

Li-Yang Tseng, Tzu-Ling Lin외 3명|arXiv (Cornell University)|2023. 11. 04.

Color perception and design인용 수 2

한 줄 요약

이 논문은 사용자 재생 실험을 통해 객관적으로 측정된 기억성 점수를 갖춘 음악 조각의 새로운 컬렉션인 YouTube Music Memorability (YTMM) 데이터셋을 소개한다. 이 데이터셋을 바탕으로 저자들은 심층 학습 및 수작업 특징 기반 베이스라인을 제안하며, 음성 스펙트로그램, 해석 가능한 음악 특징, SHAP 기반 설명 가능성 기법을 활용하여 음악 기억성을 예측한다. 결과적으로 더 높은 각성도, 템포, 밸런스가 더 높을수록 기억성이 더 높다는 것이 입증되었다.

ABSTRACT

Nowadays, humans are constantly exposed to music, whether through voluntary streaming services or incidental encounters during commercial breaks. Despite the abundance of music, certain pieces remain more memorable and often gain greater popularity. Inspired by this phenomenon, we focus on measuring and predicting music memorability. To achieve this, we collect a new music piece dataset with reliable memorability labels using a novel interactive experimental procedure. We then train baselines to predict and analyze music memorability, leveraging both interpretable features and audio mel-spectrograms as inputs. To the best of our knowledge, we are the first to explore music memorability using data-driven deep learning-based methods. Through a series of experiments and ablation studies, we demonstrate that while there is room for improvement, predicting music memorability with limited data is possible. Certain intrinsic elements, such as higher valence, arousal, and faster tempo, contribute to memorable music. As prediction techniques continue to evolve, real-life applications like music recommendation systems and music style transfer will undoubtedly benefit from this new area of research.

연구 동기 및 목표

• 음악 정보 검색(MIR) 분야에서 거의 다뤄지지 않은 분야인 음악 기억성의 측정 및 예측을 위한 데이터 기반 접근법을 수립하기 위해.
• 통제된 실험 절차를 통해 신뢰할 수 있고 대규모의 데이터셋을 수집하여 객관적인 기억성 점수를 확보하기 위해.
• 수작업 특징과 자기지도 학습된 음성 표현을 모두 활용하여 음악 기억성 회귀(MMR)를 위한 베이스라인 모델을 개발하고 평가하기 위해.
• SHAP 기반 기법을 통해 모델 결정의 해석 가능성을 제공하고 기억성에 영향을 주는 주요 음악적 특징을 규명하기 위해.
• 공개된 데이터셋과 벤치마크를 제공하여 향후 음악 추천, 브랜드화, 콘텐츠 제작 분야의 연구를 가능하게 하기 위해.

제안 방법

• 기억력 테스트를 위한 세 단계의 상호작용 기반 음악 기억 게임을 개발하여, 참가자들이 18분 간격으로 3분의 휴식 후 5초 분량의 음악 클립을 재생 기억하도록 유도하였다.
• 1,000개의 음악 조각을 포함하는 YTMM 데이터셋을 구축하였으며, 각 음악 조각은 정확히 기억한 참가자의 비율에 따라 기억성 점수로 레이블링되었다.
• 다양한 베이스라인 모델을 제안: RBF 커널을 사용한 SVR, MLP, SSAST(self-supervised audio spectrogram transformer), 수작업 특징과 멜-스펙트로그램을 입력으로 사용하였다.
• SHAP 기반 기법을 활용해 설명 가능한 AI(XAI)를 통합하여 모델 예측의 해석 가능성을 확보하고, 각성도, BPM, 톤의 특성 등 영향력 있는 특징을 규명하였다.
• 특히 순차적 모델인 SSAST와 같은 모델의 일반화 능력을 향상시키기 위해 피치 시프팅(±5도)을 활용한 데이터 증강 기법을 적용하였다.
• 특징 선택 및 데이터 증강에 대한 아블레이션 연구를 수행하여 모델의 강건성과 입력 변동에 대한 민감도를 평가하였다.

실험 결과

연구 질문

• RQ1 데이터 기반 기계 학습 기법을 통해 음악 기억성을 신뢰성 있게 측정하고 예측할 수 있는가?
• RQ2 템포, 밸런스, 각성도, 톤 등과 같은 음성 및 음악적 특징 중 기억성에 가장 강하게 영향을 주는 것은 무엇인가?
• RQ3 SVR, MLP, SSAST 등의 다양한 모델 아키텍처가 제한된 데이터로 음악 기억성을 얼마나 잘 예측하는가?
• RQ4 SHAP 기반 설명 가능성 기법을 통해 기억에 남는 음악의 내재적 특성을 얼마나 잘 드러낼 수 있는가?
• RQ5 특히 피치 시프팅을 포함한 데이터 증강 기법이 다양한 아키텍처 간의 모델 성능에 어떤 영향을 미치는가?

주요 결과

• YTMM 데이터셋은 사용자 재생 실험을 통해 유도된 일관되고 객관적인 기억성 점수를 제공하여 음악 기억성 회귀에 대한 신뢰할 수 있는 벤치마크를 확립하였다.
• 해석 가능한 수작업 특징(EHC) 기반 베이스라인이 기억성과 0.58의 상관관계를 기록하며, 스펙트로그램이나 원시 특징만을 사용한 모델보다 뛰어난 성능을 보였다.
• 자기지도 학습된 모델인 SSAST는 사전 학습된 스펙트로그램 패턴 이해 능력을 바탕으로 다른 심층 학습 베이스라인을 능가하는 성능을 보였다.
• 아블레이션 연구 결과, 상위 25개의 수작업 특징을 선택할 경우 상관관계가 최대가 되었으며, 이는 특징 선택이 성능 향상에 핵심적임을 시사한다.
• 피치 시프팅 증강 기법은 SSAST와 같은 순차적 모델의 성능을 뚜렷이 향상시켰으며, 피치 변화에 민감한 모델의 경우 데이터 증강의 중요성을 입증하였다.
• SHAP 분석 결과, 높은 각성도, 빠른 템포(BPM), 그리고 비보컬, 비드럼, 비베이스 톤 특성(예: 멜로디)이 강하게 드러나는 톤 특성 요소들이 기억성 예측의 핵심 예측 변수로 확인되었다.