[논문 리뷰] Representations of Sound in Deep Learning of Audio Features from Music

Sergey A. Shuvaev, Hamza Giaffar외 1명|Cold Spring Harbor Laboratory Institutional Repository (Cold Spring Harbor Laboratory)|2017. 12. 08.

Music and Audio Processing참고 문헌 7인용 수 5

한 줄 요약

이 논문은 5초 분량의 짧은 오디오 클립에서 작곡가를 식별하기 위해 음악의 딥러닝 표현을 컨볼루션 신경망(CNN)을 사용하여 조사한다. 랜덤 매트릭스 변환(RMT)과 로그 간격 필터 베이스가 분류 정확도를 크게 향상시키는 것으로 나타났으며, RMT는 31명의 작곡가 중 한 명을 식별하는 데 84%의 정확도를 기록하여 표준 스펙트로그램 기반 특징보다 뛰어난 성능을 보였다.

ABSTRACT

The work of a single musician, group or composer can vary widely in terms of musical style. Indeed, different stylistic elements, from performance medium and rhythm to harmony and texture, are typically exploited and developed across an artist's lifetime. Yet, there is often a discernable character to the work of, for instance, individual composers at the perceptual level - an experienced listener can often pick up on subtle clues in the music to identify the composer or performer. Here we suggest that a convolutional network may learn these subtle clues or features given an appropriate representation of the music. In this paper, we apply a deep convolutional neural network to a large audio dataset and empirically evaluate its performance on audio classification tasks. Our trained network demonstrates accurate performance on such classification tasks when presented with 5 s examples of music obtained by simple transformations of the raw audio waveform. A particularly interesting example is the spectral representation of music obtained by application of a logarithmically spaced filter bank, mirroring the early stages of auditory signal transduction in mammals. The most successful representation of music to facilitate discrimination was obtained via a random matrix transform (RMT). Networks based on logarithmic filter banks and RMT were able to correctly guess the one composer out of 31 possibilities in 68 and 84 percent of cases respectively.

연구 동기 및 목표

• 다양한 오디오 표현 방식이 음악 분류 작업에서 딥러닝 성능에 미치는 영향을 탐색하기 위해.
• 컨볼루션 신경망이 음악의 미묘한 스타일적 특징을 탐지할 수 있는 오디오 특징 표현 방식을 특정하기 위해.
• 원시 웨이브폼, 스펙트로그램, RMT 및 로그 간격 필터 베이스와 같은 고급 변환 기법이 작곡가 식별에 얼마나 효과적인지 평가하기 위해.
• 딥 네트워크가 최소한의 오디오 입력에서 청각적으로 관련성이 있는 특징을 학습할 수 있는지 확인하기 위해.
• 청각 기반 표현 방식이 모델의 일반화 및 구분 능력 향상에 기여하는지 평가하기 위해.

제안 방법

• 대규모 음악 오디오 클립 데이터셋에서 딥 컨볼루션 신경망(CNN)을 학습한다.
• 오디오가 원시 웨이브폼, 스펙트로그램, 로그 간격 필터 베이스, 랜덤 매트릭스 변환(RMT) 등의 다양한 표현 방식으로 변환된다.
• RMT는 멜 스케일 필터 베이스 출력에 랜덤 매트릭스를 적용하여 특징의 다양성과 강건성을 향상시킨다.
• 네트워크는 5초 분량의 오디오 스니펫을 사용해 31명의 작곡가 중 한 명으로 분류하도록 학습된다.
• 다양한 입력 표현 방식에 대해 보류된 테스트 세트에서의 상위 1위 정확도를 통해 성능을 평가한다.
• 청각 기반의 로그 간격 필터 베이스는 초기 mamalian 청각 처리를 모방하여 청각적 관련성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥러닝을 사용할 때 어떤 오디오 표현 방식이 가장 정확한 작곡가 식별을 가능하게 하는가?
• RQ2 컨볼루션 신경망은 5초 분량의 짧은 오디오 클립에서 미묘한 스타일적 특징을 학습할 수 있는가?
• RQ3 RMT와 로그 간격 필터 베이스는 표준 스펙트로그램에 비해 어떻게 차별적 오디오 특징을 포착하는가?
• RQ4 청각 기반 표현 방식은 음악 분류 작업에서 모델 성능 향상에 어느 정도 영향을 미치는가?
• RQ5 랜덤 매트릭스 변환은 음악 원천 분離 또는 식별을 위한 특징 표현을 향상시킬 수 있는가?

주요 결과

• 랜덤 매트릭스 변환(RMT) 표현 방식은 31명의 작곡가 중 한 명을 식별하는 데 84%의 정확도를 기록하여 다른 표현 방식보다 뚜렷이 뛰어난 성능을 보였다.
• 로그 간격 필터 베이스 표현 방식은 더 단순한 설계에도 불구하고 68%의 정확도를 기록하여 뛰어난 성능을 보였다.
• RMT와 로그 간격 필터 베이스 모두 표준 스펙트로그램 기반 특징보다 작곡가 식별 작업에서 뛰어난 성능을 보였다.
• 딥 컨볼루션 신경망은 5초 분량의 오디오 클립만으로도 청각적으로 관련성이 있는 특징을 성공적으로 학습하였다.
• 결과적으로 청각 기반 및 무작위 특징 변환은 딥 오디오 표현 학습에서 구분 능력을 향상시킨다.
• 이 연구는 RMT가 음악 분류에서 오디오 표현 학습을 향상시키는 데 매우 효과적이며 데이터 효율적인 방법임을 확인한다.