[논문 리뷰] Surrey-cvssp system for DCASE2017 challenge task4

Yong Xu, Qiuqiang Kong외 2명|arXiv (Cornell University)|2017. 09. 02.

Computational Physics and Python Applications참고 문헌 3인용 수 33

한 줄 요약

이 논문은 DCASE2017 Task 4 데이터셋에서 약한 감독을 받는 음성 태깅 및 사운드 이벤트 검출을 위해 CNN과 GRU를 사용하는 딥러닝 시스템을 제안한다. 학습 가능한 게이팅 활성화 함수와 어텐션 메커니즘을 도입하였다. 이 방법은 개발 세트에서 61%의 F1 스코어를 기록했으며, 평가 세트에서는 음성 태깅 부문 1위, 사운드 이벤트 검출 부문 2위를 기록하여 기준 모델을 크게 앞서는 성능을 보였다.

ABSTRACT

In this technique report, we present a bunch of methods for the task 4 of Detection and Classification of Acoustic Scenes and Events 2017 (DCASE2017) challenge. This task evaluates systems for the large-scale detection of sound events using weakly labeled training data. The data are YouTube video excerpts focusing on transportation and warnings due to their industry applications. There are two tasks, audio tagging and sound event detection from weakly labeled data. Convolutional neural network (CNN) and gated recurrent unit (GRU) based recurrent neural network (RNN) are adopted as our basic framework. We proposed a learnable gating activation function for selecting informative local features. Attention-based scheme is used for localizing the specific events in a weakly-supervised mode. A new batch-level balancing strategy is also proposed to tackle the data unbalancing problem. Fusion of posteriors from different systems are found effective to improve the performance. In a summary, we get 61% F-value for the audio tagging subtask and 0.73 error rate (ER) for the sound event detection subtask on the development set. While the official multilayer perceptron (MLP) based baseline just obtained 13.1% F-value for the audio tagging and 1.02 for the sound event detection.

연구 동기 및 목표

• YouTube에서 유래한 음성 클립을 활용해 레이블이 제한된 상태에서 대규모 약한 감독을 받는 사운드 이벤트 검출 문제를 해결하기 위해.
• Google AudioSet 서브셋에서 제공하는 불균형적이고 약한 레이블이 부여된 데이터에서 음성 태깅 및 사운드 이벤트 검출 성능을 향상시키기 위해.
• 클립 수준의 레이블만을 사용하여 이벤트를 효과적으로 국소화하고 장면을 분류할 수 있는 강력한 딥러닝 프레임워크를 개발하기 위해.
• 새로운 훈련 및 융합 전략을 통해 데이터 불균형 문제를 완화하고 일반화 성능을 향상시키기 위해.

제안 방법

• 학습 가능한 게이팅 활성화 함수를 도입하여 선형 변환과 학습 가능한 시그모이드 게이팅을 조합함으로써 정보가 풍부한 국소적 특징을 선택적으로 강조함.
• 배치 수준의 밸런싱 전략을 통해 각 훈련 배치에 적어도 한 개의 저빈도 클래스 샘플이 포함되도록 보장함으로써 데이터 불균형 문제를 완화함.
• 프레임 수준의 레이블이 필요 없이 어텐션 기반 메커니즘을 적용하여 시간 도메인에서 사운드 이벤트를 국소화함.
• 다중 모델 및 모델 반복의 예측을 융합하는 이중 수준의 융합 전략을 통해 정확도와 견고성을 향상시킴.
• 배치 정규화를 적용한 스택된 CNN 블록과 양방향 GRU-RNN을 사용하여 시간 모델링을 수행하며, 전체 시간 해상도를 유지함.
• 스펙트로그램, 로그-멜 필터 베이스, MFCC 특징을 추출하여 모델의 입력으로 사용함.

실험 결과

연구 질문

• RQ1 약한 레이블이 부여된 음성 클립만 제공될 경우, 딥러닝 모델이 어떻게 효과적으로 사운드 이벤트를 검출하고 국소화할 수 있는가?
• RQ2 대규모 음성 데이터셋에서 심각한 클래스 불균형으로 인한 성능 저하를 완화하기 위해 어떤 기법이 유용한가?
• RQ3 학습 가능한 게이팅 메커니즘이 약한 감독을 받는 음성 분류에서 특징 선택 및 모델 성능 향상에 기여할 수 있는가?
• RQ4 프레임 수준의 레이블 없이 어텐션 기반 국소화 기법이 검출 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 약한 감독을 받는 사운드 이벤트 검출 작업에서 모델 융합 전략은 얼마나 효과적인가?

주요 결과

• 제안된 시스템은 음성 태깅 부문에서 개발 세트에서 61%의 F1 스코어를 기록하여 DCASE2017 기준 모델의 13.1% F1 스코어를 크게 앞서는 성능을 보였다.
• 사운드 이벤트 검출 부문에서 시스템은 개발 세트에서 오차율 0.73을 기록했으며, 기준 모델의 1.02 오차율에 비해 향상된 성능을 보였다.
• 평가 세트에서는 음성 태깅 부문에서 1위를 기록하였으며, F1 스코어는 55.6%로 보고되었다.
• 평가 세트에서 사운드 이벤트 검출 부문에서는 2위를 기록하였으며, F1 스코어는 51.8%, 오차율은 0.73이었다.
• 다양한 모델과 훈련 반복의 융합이 성능 향상에 기여하였으며, 이는 약한 감독 환경에서 앙상블 학습의 효과성을 입증하였다.
• 어텐션 메커니즘이 시각화된 예측 대 참고 값 비교를 통해 시간 도메인에서 사운드 이벤트를 성공적으로 국소화한 것으로 확인되었다.