[논문 리뷰] CRNNs for Urban Sound Tagging with spatiotemporal context

Augustin Arnault, Nicolas Riche|arXiv (Cornell University)|2020. 08. 24.

Music and Audio Processing참고 문헌 18인용 수 4

한 줄 요약

이 논문은 로그-멜 스펙트로그램, 시공간 메타데이터(시간, 위치), 그리고 하이브리드 오디오 임베딩(일반형 및 특정형)을 통합한 CRNN 기반 모델을 제안한다. 이는 계층적 다중라벨 도시 음향 태깅을 위한 것이다. 특정 임베딩을 위한 TALNet 유사 CNN-Transformer, 사전 훈련된 일반형 임베딩, 그리고 Time2Vec에 통합된 메타데이터를 결합함으로써, DCASE 2020 Task 5 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하였다. 굵은 태그에서 매크로-AUPRC는 0.8107, 미세 태그에서는 0.7040을 기록하여 양 측면에서 베이스라인을 초월하였다.

ABSTRACT

This paper describes CRNNs we used to participate in Task 5 of the DCASE 2020 challenge. This task focuses on hierarchical multilabel urban sound tagging with spatiotemporal context. The code is available on our GitHub repository at https://github.com/multitel-ai/urban-sound-tagging.

연구 동기 및 목표

• 실생활 오디오 녹음에서 시공간 맥락을 고려한 계층적 다중라벨 도시 음향 태깅 문제를 해결하기 위해.
• 스펙트로그램, 메타데이터, 오디오 임베딩 등의 다양한 입력 모odal을 통합하여 DCASE 2020 Task 5 벤치마크에서 성능을 향상시키기 위해.
• 다중라벨 오디오 태깅에서 일반형 사전 훈련된 오디오 임베딩과 작업에 특화된 학습된 임베딩을 조합할 경우의 효과성을 조사하기 위해.
• 고급 훈련 기법과 데이터 증강 기법이 모델의 일반화 능력과 강건성에 미치는 영향을 평가하기 위해.
• 도시 음향 이벤트 탐지 및 분류를 위한 확장 가능하고 모듈러한 딥 러닝 프레임워크를 개발하기 위해.

제안 방법

• 모델은 주로 오디오 입력 표현으로 로그-멜 스펙트로그램(64 bands, 0–8 kHz, Hanning window, hop length 1103)을 사용한다.
• 시공간 메타데이터(시간대, 요일, 주, 위치)는 Time2Vec(T2V)를 통해 임베딩된 후, 주기적 및 비주기적 패턴을 포착하기 위해 트랜스포머 인코더를 거친다.
• 특정 오디오 임베딩은 TALNet 유사 아키텍처를 통해 생성되며, 그룹 정규화, 가중치 표준화, 그리고 양방향 GRU 레이어를 대체하는 트랜스포머 인코더를 포함한다.
• 일반형 오디오 임베딩은 AudioSet에서 미세조정된 사전 훈련된 TALNet 모델에서 유도되며, 이는 이식 가능한 특징을 제공한다.
• 최종 예측 헤드는 세 가지 임베딩(특정형, 일반형, 메타데이터)을 연결하고, 다중라벨 분류를 위해 이진 교차 엔트로피 손실을 적용하는 완전 연결 레이어를 적용한다.
• 데이터 증강에는 SpecAugment(Frequency/Time 마스킹, 왜곡), 이미지 기반 증강(ShiftScaleRotate, Grid Distortion, Cutout), 그리고 베타 분포 혼합을 사용하는 Mixup 등이 포함된다.

실험 결과

연구 질문

• RQ1 시공간 메타데이터의 통합이 계층적 도시 음향 태깅 성능에 뚜렷한 향상을 가져올 수 있는가?
• RQ2 저자원 도시 음향 태깅 환경에서 특정형, 작업 학습된 오디오 임베딩와 일반형 사전 훈련된 임베딩 간의 성능 비교는 어떠한가?
• RQ3 CRNN 아키텍처에서 양방향 GRU 레이어를 트랜스포머 인코더로 대체할 경우 성능 향상과 더 빠른 수렴이 이루어지는가?
• RQ4 고성능 모델을 사용해 훈련 세트를 재태깅하는 전략이 최종 시스템 정확도에 어느 정도 기여하는가?
• RQ5 계층적 다중라벨 오디오 태깅에 최적의 손실 함수 조합(예: 미세 태그에 대해 마스크된 BCE)은 무엇인가?

주요 결과

• System3는 굵은 태그 분류에서 매크로-AUPRC 0.8107을 기록하여, 베이스라인 점수 0.6323보다 뚜렷이 높은 성능을 보였다.
• 미세 태그 분류에서는 매크로-AUPRC 0.7040을 달성하여, 베이스라인 0.5278을 초월하였다.
• 일반형 및 특정형 오디오 임베딩을 모두 사용하고 메타데이터를 통합함으로써, 단일 임베딩 유형만 사용한 모델보다 일관된 성능 향상이 이루어졌다.
• Mixup 및 SpecAugment 데이터 증강 기법의 통합은 일반화 능력 향상과 더 높은 AUPRC 점수 기여에 기여하였다.
• 특정 임베딩 헤드에 탑재된 트랜스포머 기반 인코더는 RNN 기반 대안 대비 모델 파라미터 수를 줄이고 성능 향상을 이끌었다.
• 고성능 모델(System2)을 활용한 재태깅 전략은 훈련 레이블의 품질을 향상시켜 검증 세트에서의 일반화 능력 향상에 기여하였다.