[논문 리뷰] Raw Waveform-based Audio Classification Using Sample-level CNN Architectures

Jongpil Lee, Tae‐Jun Kim외 2명|arXiv (Cornell University)|2017. 12. 04.

Music and Audio Processing인용 수 45

한 줄 요약

이 논문은 음악 자동 태깅, 음성 명령 인식, 음향 환경 분류 등 다양한 작업에서 최고 성능을 달성하는 엔드 투 엔드 딥 컨볼루션 신경망 아키텍처인 SampleCNN과 ReSE-2-Multi를 제안한다. 이 모델들은 스펙트로그램 전처리 없이 원시 음성 웨이브폼을 직접 처리하기 위해 작은 샘플 수준의 필터를 사용한다. 모델들은 작은 수신장, 잔차 연결, 압축-흥장 모듈, 다중 수준 특징 병합을 활용하여 웨이브폼에서 직접 계층적인 표현을 학습한다.

ABSTRACT

Music, speech, and acoustic scene sound are often handled separately in the audio domain because of their different signal characteristics. However, as the image domain grows rapidly by versatile image classification models, it is necessary to study extensible classification models in the audio domain as well. In this study, we approach this problem using two types of sample-level deep convolutional neural networks that take raw waveforms as input and uses filters with small granularity. One is a basic model that consists of convolution and pooling layers. The other is an improved model that additionally has residual connections, squeeze-and-excitation modules and multi-level concatenation. We show that the sample-level models reach state-of-the-art performance levels for the three different categories of sound. Also, we visualize the filters along layers and compare the characteristics of learned filters.

연구 동기 및 목표

• 스펙트로그램 기반 특징 공학 없이 원시 음성 웨이브폼을 직접 분류할 수 있는 엔드 투 엔드 딥 러닝 모델을 개발하는 것.
• 작은 샘플 수준의 1D 컨볼루션 필터가 다양한 음성 도메인에서 분류 가능한 음성 표현을 효과적으로 학습할 수 있는지 조사하는 것.
• 잔차 연결, 압축-흥장 모듈, 다중 수준 특징 융합을 통해 모델 성능을 향상시키는 것.
• 네트워크의 학습된 필터가 음악, 음성, 환경 음향 등 다양한 음향 특성에 어떻게 반응하는지 시각화하고 분석하는 것.
• 일관된 전처리 조건 하에 여러 음성 분류 벤치마크에서 원시 웨이브폼 기반 모델의 일반화 능력을 평가하는 것.

제안 방법

• 원시 웨이브폼 입력을 위해 설계된 1D-CNN인 SampleCNN을 제안하며, 이는 작은(1샘플) 필터, 배치 정규화, 최대 풀링 레이어를 포함한다.
• 더 깊은 네트워크 학습을 가능하게 하기 위해 잔차 연결을 추가하여 SampleCNN을 ReSE-2-Multi로 개선한다.
• 전역 평균 풀링과 학습 가능한 게이팅 메커니즘을 사용해 특징 맵을 재조정하는 압축-흥장(SE) 모듈을 통합한다.
• 다양한 추상화 수준의 표현을 결합하기 위해 다중 수준 특징 병합을 적용하여 분류 성능을 향상시킨다.
• 학습된 필터의 주파수 도메인 반응을 시각화하기 위해 기울기 상승 기반 활성화 최대화 기법을 사용한다.
• 모든 데이터셋을 교차 도메인 일관성을 확보하기 위해 16,000Hz로 리샘플링하며, 입력 크기와 각 데이터셋의 블록 수를 조정한다.

실험 결과

연구 질문

• RQ1 작고 샘플 수준의 1D 컨볼루션 필터는 원시 웨이브폼에서 직접 분류 가능한 음성 표현을 효과적으로 학습할 수 있는가?
• RQ2 음악, 음성, 음향 환경 데이터셋 간에 네트워크의 학습된 필터는 어떻게 다름이 있는가?
• RQ3 잔차 연결과 압축-흥장 모듈이 원시 웨이브폼 기반 음성 분류 성능에 얼마나 기여하는가?
• RQ4 다중 수준 특징 병합은 다양한 음성 도메인에서 분류 정확도에 어떤 영향을 미치는가?
• RQ5 일관된 전처리 조건 하에 태스크별 특징 공학 없이도 단일 원시 웨이브폼 기반 모델이 여러 음성 분류 작업에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• ReSE-2-Multi는 음악 자동 태깅 벤치마크인 MagnaTagATune에서 AUC 0.9091의 최고 성능을 기록하여 이전 방법들을 능가했다.
• 음성 명령 데이터셋에서 86%의 정확도를 달성하여 최고 성능인 88%에 근접했다.
• DCASE 2017 Task 4 음향 환경 태깅 벤치마크에서 ReSE-2-Multi는 인스턴스 기반 F-스코어 45.1%를 기록하여 데이터 밸런싱이나 앙상블 없이도 베이스라인 CRNN 모델을 능가했다.
• 필터 시각화 결과, 모델들이 멜-스펙트로그램과 유사한 로그 주파수 감도를 학습하는 것으로 나타났으며, 음악 데이터에서는 더 많은 저주파 필터를 학습했다.
• 음향 환경 음향 필터는 저주파에 더 집중되어 있고, 단순한 패턴을 보였으며, 이는 데이터셋 내 단순한 교통 및 경고 음향의 존재와 일치했다.
• 본 연구는 작은 필터를 갖춘 원시 웨이브폼 기반 모델이 최소한의 전처리로 음악, 음성, 환경 음향 도메인 간에 일반화할 수 있음을 입증했다.