[논문 리뷰] Emotion and Theme Recognition in Music with Frequency-Aware RF-Regularized CNNs

Khaled Koutini, Shreyan Chowdhury외 3명|arXiv (Cornell University)|2019. 10. 28.

Music and Audio Processing인용 수 7

한 줄 요약

이 논문은 음악 감정 및 테마 인식을 위한 주파수 인지 가능하고 수용장역할 정규화된 잔차 CNN(FA-ResNet)을 제안하며, 수용장역할 정규화와 주파수 인지 가능한 컨벌루션을 활용해 스펙트로그램 입력에 대한 성능을 향상시킨다. 이 방법은 MediaEval 2019 챌린지에서 최고 성능을 기록했으며, 앙상블 모델이 테스트 PR-AUC 0.1546을 달성하여 표준 ResNet 및 CRNN과 같은 기준 모델들을 크게 앞서 갔다.

ABSTRACT

We present CP-JKU submission to MediaEval 2019; a Receptive Field-(RF)-regularized and Frequency-Aware CNN approach for tagging music with emotion/mood labels. We perform an investigation regarding the impact of the RF of the CNNs on their performance on this dataset. We observe that ResNets with smaller receptive fields -- originally adapted for acoustic scene classification -- also perform well in the emotion tagging task. We improve the performance of such architectures using techniques such as Frequency Awareness and Shake-Shake regularization, which were used in previous work on general acoustic recognition tasks.

연구 동기 및 목표

• CNN의 수용장역할 크기가 음악 감정 태깅 성능에 미치는 영향을 조사하는 것.
• 구조적 정규화와 주파수 인지 가능한 컨벌루션을 활용해 자원이 제한되고 노이즈가 많은 음악 감정 데이터셋에서의 성능을 향상시키는 것.
• 특히 수용장역할 정규화와 주파수 인지성 기법을 음악 감정 인식에 적용하기 위해 음향 환경 분류 기술을 적응하는 것.
• 더 작은 수용장역할, 주파수 인지성 및 정규화 기법을 조합할 경우 음악 태깅 작업에서 더 뛰어난 성능을 낼 수 있음을 입증하는 것.
• 스펙트로그램 기반 딥 러닝을 사용해 MediaEval 2019 감정 및 테마 인식 과제에서 최고 성능을 달성하는 것.

제안 방법

• 모델은 수용장역할(RF) 정규화를 적용한 수정된 ResNet 아키텍처를 사용하여 공간적 범위를 제한함으로써 음성 스펙트로그램에 대한 일반화 능력을 향상시킨다.
• 주파수 인지 가능한(FA) 컨벌루션 레이어를 도입하여 주파수 표현 학습 능력을 향상시키며, 주파수 차원에서의 수용장역할 감소를 보완한다.
• 스테이블한 훈련과 강건성을 향상시키기 위해 Shake-Shake 정규화를 적용하며, 특히 작은 수용장역할 모델에 유리하다.
• 스토캐스틱 웨이트 평균화**(SWA)** 및 스퍼지샷 평균화를 사용하여 다수의 모델 가중치와 예측을 통합함으로써 일반화 능력과 성능을 향상시킨다.
• 다양한 아키텍처, 초기화 및 수용장역할을 가진 다수의 모델 예측을 앙상블 평균화하여 정확도를 향상시킨다.
• 입력 특징은 STFT를 사용해 44.1 kHz 오디오에서 유도된 256-빈 멜 스케일 스펙트로그램이며, 창 겹침 비율이 75% 또는 25%이다.

실험 결과

연구 질문

• RQ1 CNN의 수용장역할 크기를 줄이면 음악 감정 태깅 작업 성능이 향상되는가?
• RQ2 주파수 인지 가능한 컨벌루션은 음성 분류에서 수용장역할 감소로 인한 성능 저하를 보완할 수 있는가?
• RQ3 Shake-Shake 및 SWA와 같은 정규화 기법은 음악 감정 인식에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 수용장역할 정규화 및 주파수 인지 가능한 CNN은 표준 ResNet 및 CRNN보다 MTG-Jamendo 데이터셋에서 더 뛰어난 성능을 낼 수 있는가?
• RQ5 모델 앙상블 및 다중 모델 평균화 기법은 이 과제에서 성능 향상에 기여하는가?

주요 결과

• 제안된 RF 정규화가 적용된 FA-ResNet은 테스트 PR-AUC 0.1546을 기록하여 MediaEval 2019 챌린지에서 상위 3위로 기록되었다.
• 더 작은 수용장역할이 더 큰 수용장역할보다 성능이 뛰어나, 이는 이전의 음향 환경 분류 연구 결과를 뒷받침한다.
• 주파수 인지 가능한 컨벌루션은 주파수 수용장역할가 제한된 모델에서 성능 향상에 크게 기여했다.
• Shake-Shake 정규화는 원래의 음향 환경 분류 작업에서는 성능이 열등했음에도 불구하고, 모델의 안정성과 성능 향상에 기여했다.
• 다양한 초기화 및 훈련 스퍼지샷을 가진 다수의 FA-ResNet을 조합한 앙상블 모델이 가장 높은 성능을 달성했다.
• 단일 RF 정규화 ResNet(CP_ResNet)도 표준 ResNet-34(0.1021) 및 CRNN(0.1172)를 모두 앞서는 테스트 PR-AUC 0.1325를 기록했다.