[논문 리뷰] Sample-level Deep Convolutional Neural Networks for Music Auto-tagging Using Raw Waveforms

Jongpil Lee, Ji Young Park외 2명|arXiv (Cornell University)|2017. 03. 06.

Music and Audio Processing참고 문헌 17인용 수 104

한 줄 요약

이 논문은 원시 파형에서 작동하는 샘플 수준 DCNN을 제안하여 음악 자동 태깅에서 MTAT와 MSD에서 멜-스펙트로그램 기반 방법과 비슷하거나 최첨단의 성능을 달성하며, 작은 첫 층 필터를 가진 심층 아키텍처(10층 이상)를 탐구한다.

ABSTRACT

Recently, the end-to-end approach that learns hierarchical representations from raw data using deep convolutional neural networks has been successfully explored in the image, text and speech domains. This approach was applied to musical signals as well but has been not fully explored yet. To this end, we propose sample-level deep convolutional neural networks which learn representations from very small grains of waveforms (e.g. 2 or 3 samples) beyond typical frame-level input representations. Our experiments show how deep architectures with sample-level filters improve the accuracy in music auto-tagging and they provide results comparable to previous state-of-the-art performances for the Magnatagatune dataset and Million Song Dataset. In addition, we visualize filters learned in a sample-level DCNN in each layer to identify hierarchically learned features and show that they are sensitive to log-scaled frequency along layer, such as mel-frequency spectrogram that is widely used in music classification systems.

연구 동기 및 목표

• 로그 진폭 압축 및 위상 불변성 문제를 해결하기 위해 원시 파형에서 직접 학습하는 엔드-투-엔드 학습을 음악 자동 태깅에 대해 동기를 부여한다.
• 매우 작은 초기 층 필터와 증가된 깊이를 사용하여 계층적 음향 표현을 학습하는 샘플 수준 DCNN를 도입하고 평가한다.
• 샘플 수준 원시 파형 DCNN를 프레임 수준 멜-스펙트로그램 및 프레임 수준 원시 파형 기준선과 이전 최첨단 결과와 비교한다.
• 원시 파형에서 학습된 더 깊은 아키텍처(10층을 넘는)가 경쟁력 있는 성능을 달성하고 층간으로 학습된 필터를 시각화함을 입증한다.

제안 방법

• 프레임 수준 멜-스펙트로그램, 프레임 수준 원시 파형, 샘플 수준 원시 파형 DCNN의 세 가지 CNN 모델 구성을 도입한다.
• 바닥층 처리 대신 여러 개의 작은 필터, 맥스 풀링 모듈로 교체하여 샘플 수준의 세분성과 더 깊은 네트워크를 가능하게 한다(최소 2-3 샘플).
• 첫 층 필터 길이와 스트라이드(2-3 샘플) 및 깊이(m^n, m ∈ {2,3,4,5}, n 최대 9–13)를 체계적으로 변화시켜 AUC에 미치는 영향을 연구한다.
• 시그모이드 출력과 이진 교차 엔트로피 손실로 학습하되 배치 정규화와 ReLU를 사용하고 마지막 컨볼루션 층에 드롭아웃을 적용하며, 모멘텀 있는 SGD와 학습률 스케줄링을 사용한다.
• MTAT 및 MSD에서 평가하며, 22.05 kHz에서 잘라낸 29.1초의 노래를 사용하고 주요 지표로 AUC를 사용한다.
• 그래디언트 상승 기반 활성화 최대화를 통해 학습된 필드를 시각화하여 층 간의 계층적 스펙트럴 특성을 보여준다.

실험 결과

연구 질문

• RQ1 원시 파형에서 학습된 엔드-투-엔드 샘플 수준 DCNN가 멜-스펙트로그램 기반 접근법에 비해 경쟁력 있는 자동 태깅 성능을 달성할 수 있는가?
• RQ2 샘플 수준의 작은 초기 층 필터를 늘리면 MTAT 및 MSD에서 음악 자동 태깅 성능이 향상되는가?
• RQ3 원시 파형으로 학습될 때 층 간 학습된 필터의 특징은 무엇이며 주파수 표현과 어떤 관련이 있는가?
• RQ4 입력 세그먼트 길이와 첫 층 스트라이드가 샘플 수준 DCNN의 성능에 어떤 영향을 미치는가?

주요 결과

모델	MTAT AUC	MSD AUC
샘플 수준 DCNN (3^9 모델, 59049 샘플 입력)	0.9055	0.8812

• 매우 작은 첫 층 필터(2-3 샘플만큼 작)와 더 큰 깊이를 가진 샘플 수준 DCNN은 MTAT에서 59049 샘플 입력으로 AUC 0.9055까지 달성하여 멜-스펙트로그램 기반의 최첨단 결과와 비슷하다.
• MTAT의 경우 최고의 m^n 구성은 m=3, n=9로 입력 크기에 상관없이 강한 성능을 보였고 깊이의 이점을 보여준다.
• MSD에서 첫 컨볼루션 층의 필터 수를 늘리면 성능이 향상되어 모델이 0.8812 AUC를 달성했다.
• 프레임 수준 멜-스펙트로그램 모델과 비교할 때 샘플 수준 원시 파형 DCNN은 비슷한 결과를 얻으며, 프레임 수준 원시 파형 모델은 충분한 깊이와 표현 능력이 없으면 성능이 떨어진다.
• 학습된 필터의 시각화는 층을 따라 중심 주파수가 점진적으로 증가하는 경향을 보여주며 멜 스케일 경향과 유사한 계층적, 주파수 인식 표현을 나타낸다.
• 샘플 수준 접근법은 더 깊은 네트워크와 작은 시간 필터가 원시 파형으로부터 다성 음악 표현을 효과적으로 학습할 수 있음을 보여준다.