[논문 리뷰] A Data-driven Approach to Mid-level Perceptual Musical Feature Modeling

Anna Aljanaki, Mohammad Soleymani|arXiv (Cornell University)|2018. 06. 13.

Music and Audio Processing참고 문헌 19인용 수 9

한 줄 요약

이 논문은 음악가들이 5,000首의 곡에 대해 주관적으로 평가한 데이터셋을 기반으로, 메로디어스함, 연주법, 불협화음성과 같은 중위수 청각 음악적 특징을 데이터 기반으로 모델링하기 위한 접근법을 제안한다. 스펙트로그램에 기반한 Inception 기반 모델을 사용한 전이 학습을 통해 대부분의 특징, 특히 메로디어스함, 연주법, 불협화음성에 대해 높은 예측 정확도를 달성하였으며, 음악 감정 인식 작업에서 수작업으로 설계된 특징보다 향상된 성능을 보였다.

ABSTRACT

Musical features and descriptors could be coarsely divided into three levels of complexity. The bottom level contains the basic building blocks of music, e.g., chords, beats and timbre. The middle level contains concepts that emerge from combining the basic blocks: tonal and rhythmic stability, harmonic and rhythmic complexity, etc. High-level descriptors (genre, mood, expressive style) are usually modeled using the lower level ones. The features belonging to the middle level can both improve automatic recognition of high-level descriptors, and provide new music retrieval possibilities. Mid-level features are subjective and usually lack clear definitions. However, they are very important for human perception of music, and on some of them people can reach high agreement, even though defining them and therefore, designing a hand-crafted feature extractor for them can be difficult. In this paper, we derive the mid-level descriptors from data. We collect and release a dataset\footnote{https://osf.io/5aupt/} of 5000 songs annotated by musicians with seven mid-level descriptors, namely, melodiousness, tonal and rhythmic stability, modality, rhythmic complexity, dissonance and articulation. We then compare several approaches to predicting these descriptors from spectrograms using deep-learning. We also demonstrate the usefulness of these mid-level features using music emotion recognition as an application.

연구 동기 및 목표

• 명확한 정의나 알고리즘 구현이 없는 주관적이고 청각적 기반의 중위수 음악적 특징을 모델링하는 데 도전하는 것.
• 메로디어스함과 톤 알람 안정성 등 7개의 중위수 청각적 특징을 포함해 음악가들이 평가한 5,000首 곡의 새로운 데이터셋을 수집하고 공개하는 것.
• 청취자 평가에 기반한 딥 러닝 모델이 수작업으로 설계된 전통적 특징 추출기보다 청각적 음악적 특징을 예측하는 데 더 뛰어난 성능을 보이는지 평가하는 것.
• 이러한 중위수 특징이 음악 감정 인식과 같은 고수준 음악 이해 작업을 향상시키는 데 유용함을 보여주는 것.

제안 방법

• 훈련된 음악가들이 7개의 중위수 특징에 대해 청각적 비교 질문을 사용하여 5,000首 곡의 대규모 데이터셋을 수집하고 평가했다.
• 딥 뉴럴 네트워크의 입력으로 스펙트로그램을 사용하였으며, ImageNet으로 사전 훈련된 Inception 네트워크에서 전이 학습을 적용했다.
• 모델은 먼저 고정된 특징 추출 레이어로 미세조정한 후, 낮은 학습률로 모든 레이어를 동시에 훈련하기 위해 레이어를 해제하고 최적화를 진행했다.
• 예측값과 인간 평가값 간의 상관계수를 사용하여 성능을 평가하였으며, 아블레이션 연구를 통해 다양한 아키텍처와 훈련 전략을 비교했다.
• 수작업 특징 추출기(MIRToolbox 및 Essentia에서 유래)와 학습된 표현 방식을 비교하여 예측 능력을 평가했다.

실험 결과

연구 질문

• RQ1 수작업 알고리즘 대신 데이터 기반 딥 러닝 접근법을 사용해 중위수 청각 음악적 특징을 효과적으로 모델링할 수 있는가?
• RQ2 청취자 평가에 기반한 딥 뉴럴 네트워크가 연주법과 불협화음성과 같은 청각적 특징을 얼마나 잘 예측하는가?
• RQ3 학습된 표현 방식이 인간 평가된 중위수 기술적 특징을 예측하는 데 있어 전통적인 MIR 특징보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 중위수 특징에 대한 인간 평가의 신뢰도는 어떠한가? 특히 가장 높은 평가자 간 일致도를 보이는 특징은 무엇인가?

주요 결과

• 데이터 기반 딥 러닝 접근법은 모든 7개의 중위수 특징에서 가장 높은 예측 정확도를 기록하였으며, 수작업 특징 추출기보다 뛰어난 성능을 보였다.
• 메로디어스함, 연주법, 불협화음성은 상관계수 0.7 이상을 기록하여 모델의 신뢰도가 높음을 나타냈다.
• 리듬적 복잡성과 톤 알람 안정성은 낮은 평가자 간 일치도(Cronbach’s α = 0.27 및 0.44)를 보였으며, 이는 청각적 모호성 또는 정의의 개선 필요성을 시사했다.
• 초기 특징 추출 후 전체 네트워크를 미세조정한 결과, 고정된 특징 추출보다 더 뛰어난 성능을 기록하여 종단 간 적응의 이점을 확인했다.
• 기존 MIR 특징(불협화음성에 대한 거칠기, 리듬 안정성에 대한 펄스 명확도 등)은 인간 평가와 중간 정도의 상관관계(r ≈ 0.5–0.6)를 보였지만, 전체 청각적 변동성을 포괄하지 못했다.
• 본 연구는 중위수 특징이 감정 인식과 같은 고수준 음악 이해 작업을 향상시키기 위해 더 풍부한 청각적 맥락을 제공할 수 있음을 입증했다.