[논문 리뷰] Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems

Qiuqiang Kong, Yin Cao외 4명|arXiv (Cornell University)|2019. 04. 11.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 DCASE 2019 챌린지에서 음성 태깅, 사운드 이벤트 검출, 공간적 국소화 작업을 위한 일반적인 교차 작업 기반 시스템을 제안한다. 5, 9, 13층의 컨볼루션 신경망(CNN)을 사용하며, 평균 풀링을 적용한 9층 CNN이 대부분의 작업에서 최고의 성능을 기록하였다. 이는 모델의 깊이와 풀링 방식이 작업 특화 조정 없이도 교차 작업 일반화에 크게 영향을 준다는 것을 보여준다.

ABSTRACT

The Detection and Classification of Acoustic Scenes and Events (DCASE) 2019 challenge focuses on audio tagging, sound event detection and spatial localisation. DCASE 2019 consists of five tasks: 1) acoustic scene classification, 2) audio tagging with noisy labels and minimal supervision, 3) sound event localisation and detection, 4) sound event detection in domestic environments, and 5) urban sound tagging. In this paper, we propose generic cross-task baseline systems based on convolutional neural networks (CNNs). The motivation is to investigate the performance of a variety of models across several tasks without exploiting the specific characteristics of the tasks. We looked at CNNs with 5, 9, and 13 layers, and found that the optimal architecture is task-dependent. For the systems we considered, we found that the 9-layer CNN with average pooling is a good model for a majority of the DCASE 2019 tasks.

연구 동기 및 목표

• 작업 특화 특성에 의존하지 않고도 여러 음성 이해 작업을 위한 일반적이고 재사용 가능한 기반 모델을 개발하기 위해.
• 모델 아키텍처의 깊이(5, 9, 13층)가 다양한 음성 작업 간 성능에 미치는 영향을 조사하기 위해.
• 음성 표현 학습에서 교차 작업 일반화에 미치는 영향을 평가하기 위해, 특히 평균 풀링 전략의 영향을 분석하기 위해.
• 향후 음성 태깅, 사운드 이벤트 검출, 공간 국소화 분야의 연구를 위한 강력하고 이식 가능한 기반 모델을 확립하기 위해.
• 저감독 및 노이즈가 많은 레이블 환경에서의 다중 작업 음성 이해를 위한 최적의 모델 설계에 대한 통찰을 제공하기 위해.

제안 방법

• 교차 작업 성능에 미치는 깊이의 영향을 평가하기 위해 5, 9, 13층의 세 가지 CNN 아키텍처를 설계하였다.
• 일반화 성능 향상을 위해 핵심 아키텍처 구성 요소로 9층 CNN에 평균 풀링을 적용하였다.
• 다섯 가지 다른 DCASE 2019 작업에서 동일한 모델 아키텍처를 훈련시켰다: 음향 환경 분류, 노이즈가 많은 레이블을 가진 음성 태깅, 사운드 이벤트 국소화 및 검출, 가정 환경에서의 검출, 도시 음향 태깅.
• 공통된 훈련 및 추론 파이프라인을 작업 간에 적용하여 공정한 비교를 보장하고 작업 특화 적응을 방지하였다.
• 표준 DCASE 2019 평가 지표인 F1 점수 및 국소화 정확도를 사용하여 모델 성능을 평가하였다.
• 작업 간 경험적 비교를 통해 9층 CNN에 평균 풀링을 적용한 모델을 최적의 기반 모델로 선정하였다.

실험 결과

연구 질문

• RQ1 모델의 깊이(5, 9, 13층)가 다양한 음성 태깅 및 검출 작업 간 성능에 어떤 영향을 미치는가?
• RQ2 음성 표현 학습에서 다른 풀링 전략에 비해 평균 풀링이 교차 작업 일반화에 개선 효과를 보이는가?
• RQ3 한 개의 일반적인 CNN 아키텍처가 작업 특화 적응 없이도 여러 DCASE 2019 작업에서 강력한 성능을 달성할 수 있는가?
• RQ4 다중 작업 음성 이해에서 복잡성과 성능 간의 최적의 트레이드오프를 제공하는 CNN 아키텍처는 무엇인가?
• RQ5 노이즈가 많고 레이블이 제한된 환경에서, 9층 CNN에 평균 풀링을 적용한 모델은 더 깊거나 얕은 모델에 비해 더 뛰어난 내구성과 일반화 능력을 보이는가?

주요 결과

• 평균 풀링을 적용한 9층 CNN이 DCASE 2019 작업의 대부분에서 최고의 종합 성능을 기록하였다.
• 모델 성능는 작업에 따라 달라지며, 이는 최적의 아키텍처가 작업의 특성에 따라 달라질 수 있음을 시사한다.
• 평균 풀링을 적용한 9층 CNN은 더 얕은 5층 모델과 더 깊은 13층 모델보다 일반화 및 내구성 측면에서 뛰어난 성능을 보였다.
• 평균 풀링은 정밀한 국소화 및 검출이 필요한 작업에서 성능 향상에 기여하였다.
• 제안된 일반 기반 시스템은 최소한의 아키텍처 수정으로도 다양한 작업 간 강력한 이식성을 보였다.
• 이 연구는 깊이 및 풀링 유형과 같은 아키텍처 선택이 음성 이해 분야의 교차 작업 학습에 있어 핵심적이라는 점을 확인하였다.