[논문 리뷰] Utilizing Domain Knowledge in End-to-End Audio Processing

Tycho Max Sylvester Tax, Jose Luis Diez Antich외 2명|arXiv (Cornell University)|2017. 12. 01.

Music and Audio Processing참고 문헌 13인용 수 4

한 줄 요약

이 논문은 원시 음성 신호와 목표 mel-spectrogram을 사용해 지도 학습으로 훈련된 학습된 mel-spectrogram 변환을 사용하여 종단간 CNN의 첫 번째 레이어를 초기화하는 방법을 제안한다. 이 방법은 수작업으로 제작된 mel-spectrogram을 사용해 훈련된 모델과 비교할 만한 성능을 달성하며, 도메인 지식을 깊이 있는 네트워크에 효과적으로 통합하여 원시 음성 입력에서의 수렴성과 정확도를 향상시킬 수 있음을 보여준다.

ABSTRACT

End-to-end neural network based approaches to audio modelling are generally outperformed by models trained on high-level data representations. In this paper we present preliminary work that shows the feasibility of training the first layers of a deep convolutional neural network (CNN) model to learn the commonly-used log-scaled mel-spectrogram transformation. Secondly, we demonstrate that upon initializing the first layers of an end-to-end CNN classifier with the learned transformation, convergence and performance on the ESC-50 environmental sound classification dataset are similar to a CNN-based model trained on the highly pre-processed log-scaled mel-spectrogram features.

연구 동기 및 목표

• 깊이 신경망이 원시 음성에서 쌍으로 제공된 원시 파형과 mel-spectrogram을 사용해 지도 학습을 통해 로그 스케일링된 mel-spectrogram 변환을 학습할 수 있는지 조사하기.
• 학습된 변환으로 종단간 음성 분류기를 초기화하면 원시 파형 입력에서의 수렴성과 성능 향상이 이루어지는지 평가하기.
• 학습된 초기화가 수작업으로 처리된 mel-spectrogram 특징을 사용해 훈련된 모델의 성능을 따라할 수 있는지 확인하기.
• 저데이터 환경에서 도메인 지식과 종단간 학습을 결합할 수 있는지 탐색하기.

제안 방법

• 원시 음성 파형을 해당 로그 스케일링된 mel-spectrogram으로 매핑하는 데 목적이 있는 3층의 1D CNN(MSTmodel)을 지도 학습 방식으로 훈련한다.
• MSTmodel은 ReLU와 tanh 활성화 함수를 사용하며, SAME 패딩을 적용하고, 표준 STFT 파rameter와 일치하는 커널 크기와 스트라이드를 설계하여 mel-spectrum 계산에 적합하다.
• 종단간 음성 분류기의 첫 번째 레이어는 사전 훈련된 MSTmodel 가중치로 초기화되며, 훈련 중 동결된다.
• 분류기는 원시 입력을 위한 추가된 1D CNN 레이어를 포함한 수정된 PiczakCNN 아키텍처를 사용하며, 이어 최대 풀링, 완전 연결 레이어, 소프트맥스 출력이 이어진다.
• 훈련에는 Nesterov 모멘텀을 사용한 확률적 경사 하강법을 사용하며, 배치 크기 500, 학습률 5e-3, 200 에포크를 사용하고, L2 정규화는 적용하지 않는다.
• 테스트 시 추론은 mel-spectrogram 입력의 겹치는 세그먼트에 대해 다수결 투표 방식을 사용한다.

실험 결과

연구 질문

• RQ1 쌍으로 제공된 원시 파형과 mel-spectrogram을 사용해 지도 학습을 수행할 경우, 깊이 신경망이 원시 음성에서 로그 스케일링된 mel-spectrogram 변환을 학습할 수 있는가?
• RQ2 학습된 mel-spectrogram 변환으로 종단간 음성 분류기를 초기화하면 원시 음성에서의 수렴성과 테스트 정확도가 향상되는가?
• RQ3 학습된 변환으로 초기화된 종단간 모델과 수작업으로 처리된 mel-spectrogram 특징을 사용해 훈련된 모델 간의 성능는 어떻게 비교되는가?
• RQ4 학습된 첫 번째 레이어 특징은 웨이블릿이나 밴드패스 필터와 같은 의미 있는 음성 표현으로 해석될 수 있는가?
• RQ5 초기 훈련 이후에 초기화된 첫 번째 레이어 파rameter를 미세조정하면 성능 향상이 추가로 기대되는가?

주요 결과

• MSTmodel은 기존의 로그 스케일링된 mel-spectrogram 변환과 유사한 표현을 효과적으로 학습하며, 학습된 필터가 알려진 음성 필터 베이스와 정성적으로 유사함을 통해 이를 입증한다.
• 종단간 분류기의 첫 번째 레이어를 사전 훈련된 MSTmodel 가중치로 초기화하고 동결한 후, ESC-50 데이터셋에서 다수결 투표 방식을 사용해 약 53%의 테스트 정확도를 달성한다.
• 이 성능는 델타 없이 mel-spectrogram을 사용해 훈련된 PiczakCNN 모델의 기준 정확도와 일치하며, 학습된 초기화가 원시 입력에서 경쟁 가능한 성능을 달성할 수 있음을 보여준다.
• MSTmodel의 첫 번째 레이어에서 학습된 필터는 웨이블릿과 밴드패스 필터와 유사하여, 네트워크가 구조적으로 의미 있는 음성 표현을 발견하고 있음을 시사한다.
• 이 연구는 도메인 지식을 학습된 특징 추출을 통해 종단간 음성 분류에 통합함으로써, 특히 라벨이 적은 데이터 환경에서 성능 향상에 크게 기여할 수 있음을 보여준다.
• 저자들은 수렴 후 첫 번째 레이어 파rameter를 미세조정하면 성능 향상이 추가로 기대될 수 있으며, 향후 연구에 유망한 방향성을 제시한다.