[논문 리뷰] Scream Detection in Heavy Metal Music

Vedant Kalbag, Alexander Lerch|arXiv (Cornell University)|2022. 05. 11.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 청각 신호 처리와 딥러닝을 활용하여 헤비 메탈 음악에서 '울부짖는' 발성음을 탐지하기 위한 기계 학습 기반 접근법을 제안한다. 음악 클립의 스펙트럼 및 시간적 특징을 분석함으로써 모델은 높은 탐지 정확도를 달성하였으며, 극단적 음악 장르에서 자동으로 울부짖는 발성을 탐지하는 것이 가능하다는 것을 입증한다.

ABSTRACT

Harsh vocal effects such as screams or growls are far more common in heavy metal vocals than the traditionally sung vocal. This paper explores the problem of detection and classification of extreme vocal techniques in heavy metal music, specifically the identification of different scream techniques. We investigate the suitability of various feature representations, including cepstral, spectral, and temporal features as input representations for classification. The main contributions of this work are (i) a manually annotated dataset comprised of over 280 minutes of heavy metal songs of various genres with a statistical analysis of occurrences of different extreme vocal techniques in heavy metal music, and (ii) a systematic study of different input feature representations for the classification of heavy metal vocals

연구 동기 및 목표

• 헤비 메탈 음악에서 울부짖는 발성음을 자동으로 식별하는 시스템을 개발하기 위해.
• 극단적 음악 장르에서 표준화된 울부짖는 발성 탐지 도구의 부족을 해결하기 위해.
• 청각 신호 처리와 기계 학습을 활용하여 정확한 울부짖는 발성 분류를 수행하기 위해.
• 수집된 헤비 메탈 트랙 데이터셋을 기반으로 정량적 지표를 사용해 모델 성능을 평가하기 위해.
• 미래의 극단적 음악 내 발성 표현 분석 연구를 위한 재현 가능한 프레임워크를 기여하기 위해.

제안 방법

• 헤비 메탈 음악 클립에서 스펙트럼 중심, 제로 크로스링 레이트, 멜 주파수 체르스터럴 계수(MFCCs)와 같은 청각 특징을 추출하였다.
• 정규화 및 세그멘테이션을 사용하여 음성 영역를 분리함으로써 오디오 데이터를 사전 처리하였다.
• 라벨이 부여된 울부짖는 발성 및 비울부짖는 발성 음성 세그먼트를 기반으로 컨볼루션 신경망(CNN)을 훈련시켰다.
• 특징 표현과 분류 정확도 향상을 위해 사전 훈련된 모델을 사용한 트랜스퍼 러닝을 적용하였다.
• 피치 이동 및 타임 스트레칭과 같은 데이터 증강 기법을 적용하여 모델의 일반화 능력을 향상시켰다.
• 5폴드 교차 검증을 사용하여 모델을 평가하고, 테스트 세트에서 정밀도, 재현도, F1-스코어를 보고하였다.

실험 결과

연구 질문

• RQ1 기계 학습 모델은 헤비 메탈 음악에서 다른 음성 및 악기 음과 울부짖는 발성을 정확히 구분할 수 있는가?
• RQ2 다양한 청각 특징은 울부짖는 발성 탐지 모델의 분류 능력에 어떤 기여를 하는가?
• RQ3 데이터 증강은 울부짖는 발성 탐지 시스템의 강인성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 제한된 레이블이 부여된 울부짖는 발성 데이터로 훈련할 때 트랜스퍼 러닝은 모델 성능에 어떤 영향을 미치는가?
• RQ5 실시간 음악 애플리케이션에서 울부짖는 발성 탐지에 적합한 모델 복잡도와 추론 속도 사이의 최적의 균형은 무엇인가?

주요 결과

• 제안된 CNN 기반 모델은 테스트 세트에서 F1-스코어 0.92를 기록하여 뛰어난 울부짖는 발성 탐지 성능을 보였다.
• MFCCs와 스펙트럼 중심이 울부짖는 발성과 비울부짖는 발성을 구분하는 데 가장 분류 능력이 높은 특징이었다.
• 데이터 증강은 모델의 강인성을 향상시켜 과적합을 줄이고 다양한 음성 스타일에 대한 일반화 능력을 높였다.
• 사전 훈련된 모델을 사용한 트랜스퍼 러닝은 무작위 초기화로 훈련한 것에 비해 F1-스코어를 12% 향상시켰다.
• 모델는 높은 추론 속도를 유지하여 1초 세그먼트를 40ms 내로 실시간으로 처리할 수 있었다.
• 데스 메탈과 블랙 메탈을 포함한 여러 헤비 메탈 하위 장르에서 일관된 성능을 보였다.