[논문 리뷰] Music Artist Classification with WaveNet Classifier for Raw Waveform Audio Data

Xulong Zhang, Yongwei Gao외 2명|arXiv (Cornell University)|2020. 04. 09.

Music and Audio Processing참고 문헌 25인용 수 4

한 줄 요약

이 논문은 원시 오디오 웨이브폼을 직접 처리하는 엔드 투 엔드 WaveNet 기반 분류기를 제안하며, 스펙트럼 변환을 생략한다. 확장된 컨볼루션과 다운샘플링을 통해 깊이 있는 시간적 모델링을 구현함으로써 Artist20 벤치마크에서 평균 F1 스코어 0.854를 달성하여 이전의 주파수 도메인 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Models for music artist classification usually were operated in the frequency domain, in which the input audio samples are processed by the spectral transformation. The WaveNet architecture, originally designed for speech and music generation. In this paper, we propose an end-to-end architecture in the time domain for this task. A WaveNet classifier was introduced which directly models the features from a raw audio waveform. The WaveNet takes the waveform as the input and several downsampling layers are subsequent to discriminate which artist the input belongs to. In addition, the proposed method is applied to singer identification. The model achieving the best performance obtains an average F1 score of 0.854 on benchmark dataset of Artist20, which is a significant improvement over the related works. In order to show the effectiveness of feature learning of the proposed method, the bottleneck layer of the model is visualized.

연구 동기 및 목표

• 원시 오디오 웨이브폼을 직접 사용하는 엔드 투 엔드 딥 러닝 모델을 개발하여 스펙트럼 특징 대신에 음악 예술가 분류를 수행한다.
• 시간 도메인에서의 시간적 모델링이 예술가를 구분하는 데 얼마나 효과적인지 평가한다.
• 원시 웨이브폼 입력을 통해 기존의 주파수 도메인 접근 방식보다 분류 성능을 향상시킨다.
• 모델의 복셀 레이어를 시각화하여 학습된 표현을 분석한다.

제안 방법

• Wave넷 분류기는 원시 오디오 웨이브폼 내의 장거리 의존성을 모델링하기 위해 확장된 캐주얼 컨볼루션을 사용한다.
• 아키텍처에는 시간 해상도를 점진적으로 감소시키고 계층적 특징을 추출하기 위한 다운샘플링 레이어가 포함되어 있다.
• 입력 오디오는 스펙트럼 변환 없이 그대로 원시 웨이브폼으로 제공된다 (예: 멜 스펙트로그램이 포함되지 않음).
• 최종 분류 헤드는 최종 특징 표현을 기반으로 예술가 레이블을 예측한다.
• 모델의 학습된 표현을 해석하기 위해 복셀 레이어를 시각화한다.

실험 결과

연구 질문

• RQ1 원시 웨이브폼을 직접 훈련시킨 WaveNet 기반 모델이 원시 웨이브폼에서 뛰어난 음악 예술가 분류 성능을 달성할 수 있는가?
• RQ2 예능 분류에 있어 시간 도메인의 시간적 모델링은 주파수 도메인 표현보다 얼마나 효과적인가?
• RQ3 모델은 원시 오디오에서 어떤 구분 가능한 특징을 학습하는가?
• RQ4 원시 웨이브폼에서 엔드 투 엔드 훈련이 기존의 스펙트럼 특징 기반 방법보다 더 나은 일반화 성능을 이끌어내는가?

주요 결과

• 제안된 WaveNet 분류기는 Artist20 벤치마크에서 평균 F1 스코어 0.854를 달성하여 이전의 최고 성능 방법들을 능가한다.
• 모델은 가수 식별에서 뛰어난 성능을 보이며, 이는 음성 기반 분류 작업에 대한 일반화 능력을 확인한다.
• 복셀 레이어의 시각화 결과, 예술가 특유의 음성 특성과 대응하는 의미 있는 구분 가능한 패턴이 드러났다.
• 원시 웨이브폼에서 엔드 투 엔드 훈련은 수작업으로 만든 스펙트럼 특징이 필요 없게 하여 파이프라인을 단순화하면서도 성능을 향상시켰다.