[논문 리뷰] End-to-End Polyphonic Sound Event Detection Using Convolutional Recurrent Neural Networks with Learned Time-Frequency Representation Input

Emre Çakır, Tuomas Virtanen|arXiv (Cornell University)|2018. 05. 09.

Music and Audio Processing인용 수 12

한 줄 요약

이 논문은 원시 음성 신호를 처리하는 학습 가능한 시간-주파수 특징 추출 블록을 갖춘 컨volutional Recurrent Neural Network(CRNN)을 사용하여 엔드 투 엔드 다음성 음향 이벤트 검출 시스템을 제안한다. 표준 수작업 특징(예: 멜 스펙트로그램)을 능가하지는 않지만, 에너지가 주로 0–3 kHz 범위에 집중되는 임의의 작업 특징 표현을 학습하며, 이는 이 대역이 SED 작업에 가장 유용하다는 것을 시사한다.

ABSTRACT

Sound event detection systems typically consist of two stages: extracting hand-crafted features from the raw audio waveform, and learning a mapping between these features and the target sound events using a classifier. Recently, the focus of sound event detection research has been mostly shifted to the latter stage using standard features such as mel spectrogram as the input for classifiers such as deep neural networks. In this work, we utilize end-to-end approach and propose to combine these two stages in a single deep neural network classifier. The feature extraction over the raw waveform is conducted by a feedforward layer block, whose parameters are initialized to extract the time-frequency representations. The feature extraction parameters are updated during training, resulting with a representation that is optimized for the specific task. This feature extraction block is followed by (and jointly trained with) a convolutional recurrent network, which has recently given state-of-the-art results in many sound recognition tasks. The proposed system does not outperform a convolutional recurrent network with fixed hand-crafted features. The final magnitude spectrum characteristics of the feature extraction block parameters indicate that the most relevant information for the given task is contained in 0 - 3 kHz frequency range, and this is also supported by the empirical results on the SED performance.

연구 동기 및 목표

• 음향 이벤트 검출의 이중 단계 파이프라인을 제거하기 위해 특징 추출과 분류를 하나의 엔드 투 엔드 딥 러닝 모델로 통합한다.
• 신경망이 원시 음성 신호에서 직접 더 효과적인 시간-주파수 표현을 학습할 수 있는지 조사한다.
• 학습된 필터 반응을 분석하여 SED 작업에 가장 관련성이 높은 주파수 대역을 규명한다.
• 원시 음성 입력을 사용한 엔드 투 엔드 학습 성능을 표준 수작업 특징(예: 멜 스펙트로그램)과 비교한다.
• 입력 샘플링 속도와 네트워크 아키텍처가 학습된 표현과 최종 검출 성능에 미치는 영향을 탐색한다.

제안 방법

• 원시 음성 웨이브폼에서 직접 시간-주파수 표현을 추출하기 위해 학습 가능한 필터를 갖춘 피드포워드 레이어 블록을 사용하며, 표준 스펙트로그램 계산 방식을 모방하도록 초기화된다.
• 특징 추출 블록은 후속 CRNN 분류기와 함께 공동으로 훈련되어 특징 학습과 이벤트 분류를 동시에 최적화할 수 있도록 한다.
• 학습은 원시 음성 입력을 8 kHz, 16 kHz, 24 kHz에서 수행하여 샘플링 속도가 학습된 표현에 미치는 영향을 평가한다.
• 훈련 후에 학습된 필터의 크기 스펙트럼을 분석하여 주파수 응답의 변화, 특히 피크 진폭 이동을 중심으로 분석한다.
• 비교를 위해 학습된 멜 필터뱅크와 로그 멜 필터뱅크를 사용한 실험을 수행하며, 반응을 시각화하고 성능을 평가한다.
• 시스템은 DCASE2017 SED 챌린지 데이터셋에서 평가되며, 구성 간 성능 비교를 위한 주요 지표로 F1 점수가 사용된다.

실험 결과

연구 질문

• RQ1 학습 가능한 시간-주파수 특징 추출기와 함께 엔드 투 엔드 딥 러닝 모델이 다음성 음향 이벤트 검출에서 고정된 수작업 특징(예: 멜 스펙트로그램)을 사용하는 시스템을 능가할 수 있는가?
• RQ2 특징 추출 블록의 학습된 필터 반응을 통해 SED 작업에 가장 관련성이 높은 주파수 대역은 무엇인가?
• RQ3 다른 입력 샘플링 속도(8 kHz, 16 kHz, 24 kHz)는 학습된 시간-주파수 표현과 최종 검출 성능에 어떤 영향을 미치는가?
• RQ4 특징 추출 블록의 학습된 필터는 표준 청각 척도(예: 멜 또는 가마톤)와 유사한가? 만약 다를 경우, 어떤 방식으로 다를까?
• RQ5 특징 추출과 분류의 공동 훈련이 표준 스펙트로그램보다 더 작업에 특화된 표현을 생성하는가?

주요 결과

• 제안된 엔드 투 엔드 시스템은 고정된 수작업 멜 스펙트로그램을 사용하는 CRNN보다 성능이 열등하며, 8 kHz 멜 필터뱅크 실험에서 가장 높은 F1 점수는 61%였다.
• 학습된 필터의 크기 스펙트럼은 3 kHz 이하에서 심한 진폭 변조를 보이며, 이는 이 주파수 대역이 SED 작업에 가장 관련성이 높은 정보를 포함하고 있음을 시사한다.
• 4 kHz 이상의 주파수에서 필터 반응은 훈련 중에 거의 변화가 없었으며, 이는 고주파수 대역이 검출 성능에 기여도가 낮다는 것을 의미한다.
• 학습된 필터는 순수한 사인파 응답을 유지하지 못하며, 사이드 로브와 비균일한 스펙트럼 형상을 갖추며 이상적인 필터 성질의 손실을 보인다.
• 필터의 실수부와 허수부의 학습 표현은 매우 유사하여, 복소수 필터뱅크 전반에 걸쳐 대칭적인 학습 행동이 이루어지고 있음을 시사한다.
• 입력 샘플링 속도와 네트워크 아키텍처의 차이에도 불구하고, 실험 간 학습된 필터 반응은 일관된 패턴을 보이며, 특히 4 kHz 이하에서의 저주파 강조가 두드러진다.