[논문 리뷰] Stacked Convolutional and Recurrent Neural Networks for Music Emotion Recognition

M. S. S. Malik, Sharath Adavanne외 4명|arXiv (Cornell University)|2017. 06. 07.

Music and Audio Processing참고 문헌 26인용 수 45

한 줄 요약

이 논문은 연속적인 음악 감정 인식을 위해 벨런스-도전도 공간에서 경량의 스택형 CNN-RNN 아키텍처를 제안하며, 이전 방법들보다 훨씬 적은 파라미터로 최신 기술 수준(SOTA) 성능을 달성한다. 원시 로그 멜-밴드 에너지 특징을 사용하여 단지 10,000개의 파라미터로도 MediaEval2015 데이터셋에서 평균 RMSE 0.258을 기록하며, 이는 이전 SOTA 시스템 대비 400배 적은 파라미터로도 더 낮은 오차를 기록한다.

ABSTRACT

This paper studies the emotion recognition from musical tracks in the 2-dimensional valence-arousal (V-A) emotional space. We propose a method based on convolutional (CNN) and recurrent neural networks (RNN), having significantly fewer parameters compared with the state-of-the-art method for the same task. We utilize one CNN layer followed by two branches of RNNs trained separately for arousal and valence. The method was evaluated using the 'MediaEval2015 emotion in music' dataset. We achieved an RMSE of 0.202 for arousal and 0.268 for valence, which is the best result reported on this dataset.

연구 동기 및 목표

• 벨런스-도전도 공간에서 연속적인 음악 감정 인식을 위한 더 파라미터 효율적인 딥 러닝 모델을 개발하는 것.
• 원시 오디오 특징(로그 멜-밴드 에너지)이 공 ing된 기반 특징을 대체해도 성능 저하 없이 사용할 수 있는지 평가하는 것.
• 시퀀스 길이가 감정 예측을 위한 회귀 성능에 미치는 영향을 조사하는 것.
• 기존 최신 기술 수준 모델들과의 정확도 및 모델 복잡성 측면에서 제안된 스택형 CNN-RNN 아키텍처를 비교하는 것.
• 신경망이 수동으로 만든 특징에 의존하지 않고 원시 특징에서 일阶 및 이阶 통계를 자동으로 학습할 수 있음을 보여주는 것.

제안 방법

• 모델은 1D 컨볼루션 레이어 하나와 각각 벨런스와 도전도를 독립적으로 예측하기 위한 두 개의 별도된 GRU 브랜치로 구성된 스택 아키텍처를 사용한다.
• 모델은 평균 제곱오차(MSE) 손실을 사용하며, L1 및 L2 정규화와 드롭아웃(0.25–0.75)을 적용하여 정규화한다.
• 기본 특징( MediaEval2015에서 제공된 특징)과 원시 로그 멜-밴드 에너지 특징을 두 가지 입력 특징 세트로 사용하여 특징 공학 필요성에 대한 분석을 가능하게 한다.
• 다양한 시퀀스 길이(10, 20, 30, 60초)에서 평가하며, 각 시퀀스 길이에 따른 성능을 분석한다.
• 감정 차원을 하나의 RNN 브랜치로 통합한 변형(CRNN_NB)을 제안하여 이중 브랜치 설계와의 성능 비교를 수행한다.
• 하이퍼파라미터는 다섯 번의 무작위 가중치 초기화를 통해 튜닝되었으며, 개발 세트에서 평균 RMSE가 가장 낮은 설정을 최종 구성으로 선택했다.

실험 결과

연구 질문

• RQ1 기존 방법들보다 훨씬 적은 파라미터로 경량의 스택형 CNN-RNN 모델이 음악 감정 인식에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 공 ing된 기반 특징 대신 원시 로그 멜-밴드 에너지 특징을 사용할 경우 성능 저하가 발생하는가, 아니면 네트워크가 필요한 표현을 자동으로 학습할 수 있는가?
• RQ3 오디오 입력의 시퀀스 길이가 벨런스 및 도전도 예측을 위한 모델의 회귀 정확도에 어떤 영향을 미치는가?
• RQ4 이 회귀 작업에서 별도의 RNN 브랜치(두 개의 브랜치)를 사용한 아키텍처가 공유 브랜치(CRNN_NB)보다 효과적인가?
• RQ5 간단하고 작은 네트워크이면서도 최적화가 최소한인 모델이 Li 등이 제안한 DBLSTM 기반의 복잡한 앙상블 시스템을 능가할 수 있는가?

주요 결과

• 제안된 CRNN는 MediaEval2015 평가 세트에서 도전도에 대해 RMSE 0.202, 벨런스에 대해 RMSE 0.268를 기록하였으며, 이는 이 데이터셋에서 보고된 최고 성능이다.
• 원시 로그 멜-밴드 에너지 특징을 사용한 결과, 단지 10,000개의 파라미터로 평균 RMSE 0.258를 달성하였고, 이는 Li 등 시스템 대비 1200배 적은 파라미터로도 동일한 성능을 달성하였다.
• 짧은 시퀀스 길이(10초 및 20초)가 긴 시퀀스(60초)보다 우수했으며, 최고의 RMSE 0.235를 기록하여 Li 등 시스템보다 0.02 낮았다.
• 이중 브랜치 CRNN 아키텍처가 단일 브랜치 CRNN_NB 변형보다 우수했으며, CRNN_NB는 RMSE에서 Li 등 시스템과 유사했지만 파라미터 수는 17,000개로 훨씬 적었다.
• 높은 드롭아웃 비율(0.75)으로 원시 특징에서 훈련한 모델가 잘 일반화되었으며, 깊은 네트워크가 공 ing된 특징 없이도 원시 멜 스펙트로그램에서 필수 음향 통계를 자동으로 학습할 수 있음을 보여주었다.
• 기본 특징을 사용한 모델는 평가 세트에서 평균 RMSE 0.242를 기록하였으며, 파라미터 수가 약 1/400에 불과한데도 불구하고 Li 등 시스템(평균 RMSE 0.255)을 능가하는 성능을 보였다.