[논문 리뷰] Combining High-Level Features of Raw Audio Waves and Mel-Spectrograms for Audio Tagging

Marcel Lederle, Benjamin Wilhelm|arXiv (Cornell University)|2018. 11. 26.

Music and Audio Processing참고 문헌 15인용 수 6

한 줄 요약

이 논문은 원시 음성 파형과 멜스펙트로그램에서 고수준 특징을 각각 별도의 1차원 및 2차원 컨volutional 신경망을 통해 추출한 후, 밀집층을 통한 특징 융합을 통해 단일 모델 기반 음성 태깅 시스템을 제안한다. 이 방법은 상태의 기준 성능을 달성하여 케글러의 Freesound General-Purpose Audio Tagging 챌린지에서 사전 테스트 세트에서 0.948 mAP@3 점수로 상위 2%에 랭크되었다.

ABSTRACT

In this paper, we describe our contribution to Task 2 of the DCASE 2018 Audio Challenge. While it has become ubiquitous to utilize an ensemble of machine learning methods for classification tasks to obtain better predictive performance, the majority of ensemble methods combine predictions rather than learned features. We propose a single-model method that combines learned high-level features computed from log-scaled mel-spectrograms and raw audio data. These features are learned separately by two Convolutional Neural Networks, one for each input type, and then combined by densely connected layers within a single network. This relatively simple approach along with data augmentation ranks among the best two percent in the Freesound General-Purpose Audio Tagging Challenge on Kaggle.

연구 동기 및 목표

• 원시 음성과 멜스펙트로그램에서 유사한 표현을 활용하여 음성 태깅 성능을 향상시키기 위해.
• 예측을 융합하는 방법이 아닌 학습된 특징을 융합하는 단일 모델 대안을 개발하기 위해.
• 수작업 특징의 한계를 극복하기 위해 작업에 특화된 딥 러닝 표현을 사용하기 위해.
• 두 입력 유형에서 고수준 특징을 공동으로 학습함으로써 다양한 음성 카테고리 간 일반화 능력 향상 여부를 입증하기 위해.

제안 방법

• 시퀀스 간격을 적용한 컨volution, 최대 풀링을 사용하여 원시 음성 파형에 대해 1D-CNN을 훈련시어 시간-스펙트럼 특징을 추출한다.
• 로그 스케일링된 멜스펙트로그램에 대해 표준 컨볼루션 블록을 사용한 2D-CNN를 훈련시며 배치 정규화와 ReLU 활성화 함수를 적용한다.
• 양쪽 네트워크에서 고수준 특징을 추출하고, 단일 통합 모델 내에서 밀집 연결층을 통해 특징 융합을 수행한다.
• Freesound 데이터셋 전반에서의 강인성과 일반화 능력을 향상시키기 위해 데이터 증강을 적용한다.
• VGG와 AlexNet을 영감으로 삼은 공통 아키텍처 설계를 1D 및 2D 음성 표현에 맞게 적응시킨다.
• 수렴 및 성능 최적화를 위해 훈련 중 조기 정지와 학습률 스케줄링을 적용한다.

실험 결과

연구 질문

• RQ1 원시 음성과 멜스펙트로그램에서 추출한 고수준 특징을 융합하면 단일 입력 모델보다 음성 태깅 성능이 향상되는가?
• RQ2 개별 모델의 예측을 융합하는 앙상블 방법보다 단일 융합 모델이 성능이 뛰어나지 않는가?
• RQ3 원시 음성과 멜스펙트로그램 중 어느 입력 모odal이 특정 음성 카테고리에 더 분류 능력 있는 특징을 제공하는가?
• RQ4 '스퀴크'나 '화염 폭발'과 같은 어려운 클래스에서 특징 융합이 성능 향상에 얼마나 기여하는가?

주요 결과

• 결합 모델(cnn-comb)은 사전 테스트 세트에서 0.948 mAP@3 점수를 기록하여 Freesound 챌린지 상위 2%에 랭크되었다.
• 2초 입력 지속시간이 가장 뛰어난 성능를 보였으며, 사전 테스트 세트에서 0.948 mAP@3 점수를 기록하여 개별 모델을 모두 앞섰다.
• 2초 버전은 전체 테스트 세트에서 0.956 mAP@3 점수를 기록하여 강력한 일반화 능력을 보였다.
• 특히 '스퀴크'나 '화염 폭발'과 같은 어려운 분류 카테고리에서, 결합 모델은 개별 모델(cnn-audio 및 cnn-spec)을 항상 앞섰다.
• 제거 실험 결과, 성능 향상 요인이 단순 모델 평균화가 아니라 공동 특징 활용에서 비롯됨을 확인하였으며, 한 입력을 0으로 설정하면 성능이 떨어졌다.
• 13개의 클래스에서 1.000 mAP@3를 기록하여 '박수', '베이스 드럼', '기침' 등 명확하고 특징적인 소리에 대해 높은 신뢰도를 보였다.