[논문 리뷰] Sound Event Localization and Detection Using Activity-Coupled Cartesian DOA Vector and RD3net

Kazuki Shimada, Naoya Takahashi외 2명|arXiv (Cornell University)|2020. 06. 22.

Music and Audio Processing참고 문헌 14인용 수 11

한 줄 요약

이 논문은 활동 연관 3차원 데카르트 도래각 벡터(ACCDOA) 표현과 새로운 순환-밀도 신경망(RD3Net)을 사용하여 단일 단계 통합 프레임워크를 제안한다. 이 방법은 DCASE2020 Task 3에서 최신 기준 성능을 달성하였으며, 특히 정위치화 재현율과 F-스코어에서 뚜렷한 우월성을 보였고, 모델 앙상블 및 EMDA, FOA 회전, 다중채널 SpecAugment와 같은 데이터 증강 기법을 통해 추가로 성능 향상을 이룩하였다.

ABSTRACT

Our systems submitted to the DCASE2020 task~3: Sound Event Localization and Detection (SELD) are described in this report. We consider two systems: a single-stage system that solve sound event localization~(SEL) and sound event detection~(SED) simultaneously, and a two-stage system that first handles the SED and SEL tasks individually and later combines those results. As the single-stage system, we propose a unified training framework that uses an activity-coupled Cartesian DOA vector~(ACCDOA) representation as a single target for both the SED and SEL tasks. To efficiently estimate sound event locations and activities, we further propose RD3Net, which incorporates recurrent and convolution layers with dense skip connections and dilation. To generalize the models, we apply three data augmentation techniques: equalized mixture data augmentation~(EMDA), rotation of first-order Ambisonic~(FOA) singals, and multichannel extension of SpecAugment. Our systems demonstrate a significant improvement over the baseline system.

연구 동기 및 목표

• 복잡한 다중 소스 음성 환경에서 음향 이벤트 탐지 및 정위치화(SELD)를 동시에 해결하고자 한다.
• 다중채널 음성 및 도래각 추정에 특화된 새로운 데이터 증강 기법을 통해 모델의 일반화 능력과 성능을 향상시키고자 한다.
• ACCDOA 표현을 활용하여 음향 이벤트 활동성과 도래각을 동시에 최적화하는 통합 단일 단계 프레임워크를 개발하고자 한다.
• 기존의 CRNN와 같은 모델들과 비교하여 제안된 RD3Net 아키텍처의 우월성을 입증하고자 한다.
• 모델 앙상블 및 다양한 설정의 가중 평균을 통해 최신 기준 성능을 달성하고자 한다.

제안 방법

• ACCDOA 표현은 3차원 데카르트 도래각 벡터의 크기를 음향 이벤트 활동성으로 인코딩하며, 방향성이 소스 위치를 나타내어 단일 출력에서 SED와 SEL을 동시에 회귀할 수 있도록 한다.
• RD3Net은 확장된 컨볼루션, 블로킹부에서의 순환 유닛(GRUs) 및 밀도형 스킵 연결을 통합하며, 배치 정규화 대신 네트워크 역변환을 사용하여 특징 학습을 향상시킨다.
• 세 가지 데이터 증강 기법을 적용한다: 균형 잼 믹스 데이터 증강(EMDA)은 현실적인 소스 혼합을 위해 사용되며, 1차 순서 아미보닉(FOA) 신호의 회전을 통해 도래각 다양성을 증가시키고, 스펙트럼 및 채널 마스킹을 위한 다중채널 SpecAugment의 확장 버전을 적용한다.
• 특징는 STFT 계수에서 유도되며, 다중채널 진폭 스펙트로그램과 채널 간 위상 차이(IPD)를 포함하며, 첫 번째 마이크를 기준으로 상대적 IPD를 계산한다.
• 단일 단계 시스템은 ACCDOA 벡터를 회귀하기 위해 평균 제곱 오차(MSE) 손실을 사용하며, 이중 단계 시스템은 SED에 대해 이진 교차 엔트로피, DOA에 대해 마스크된 MSE를 사용하며, SED 브랜치에서 DOA 브랜치로 파라미터 전이를 수행한다.
• 후처리 단계로는 겹치는 세그먼트 추론, 추론 중 데이터 증강을 위한 벡터 회전, 그리고 학습된 클래스 및 모델 전용 가중치를 활용한 예측의 가중 평균을 통한 모델 앙상블이 포함된다.

실험 결과

연구 질문

• RQ1 ACCDOA 표현을 사용하는 통합 단일 단계 프레임워크가 SELD 작업에서 분리된 이중 단계 접근 방식을 능가할 수 있는가?
• RQ2 제안된 데이터 증강 기법들인 EMDA, FOA 회전, 다중채널 SpecAugment는 모델의 일반화 능력과 내성 강도 향상에 얼마나 효과적인가?
• RQ3 확장된 컨볼루션, GRUs, 밀도형 스킵 연결을 갖춘 RD3Net 아키텍처는 표준 CRNN과 비교해 SELD 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 다양한 설정의 구성에 대해 가중 평균을 통한 모델 앙상블이 F20° 및 LRCD와 같은 도전적인 지표에서 성능 향상에 기여하는가?
• RQ5 다양한 음향 이벤트가 동시에 발생할 경우(폴리포니) 제안된 시스템의 성능에 어떤 영향을 미치며, 겹치는 이벤트 상황에서도 정확도를 유지할 수 있는가?

주요 결과

• ACCDOA 시스템은 다중 소스 없이 복잡한 시나리오에서도 F20° 점수가 81.3%로 높은 성능를 보였으며, 폴리포니 상황에서는 74.3%로 여전히 뛰어난 성능를 유지하였다.
• ACCDOA 시스템은 이중 단계 시스템보다 정위치화 재현율(LRCD)에서 2.3%p 향상되어, 공동 탐지 및 정위치화 정확도가 더 뛰어남을 입증하였다.
• RD3Net은 모든 지표에서 CRNN 기준선을 크게 앞서며, F20°에서 3.8%p 향상되고 LRCD에서 4.1%p 향상되었다.
• 모델 앙상블은 최고의 단일 모델 대비 F20° 점수를 3.2%p 향상시켜, 다양한 설정 간 가중 평균의 효과를 입증하였다.
• 실제 녹음에서 동적인 음향 소스를 추적하는 데 성공하였으며, 그 결과는 그림 3에 시각화되어 있어, 강력한 공동 탐지, 정위치화 및 시간적 추적 능력을 입증하였다.
• 폴리포니 상황에서 성능 저하가 관찰되었으며, 정위치화 오차(LECD)는 2.3° 증가하고 LRCD는 4.1%p 감소하여, 밀도 높은 이벤트 상황에서의 향상 여지가 있음을 시사하였다.