[논문 리뷰] ACCDOA: Activity-Coupled Cartesian Direction of Arrival Representation for Sound Event Localization and Detection

Kazuki Shimada, Yuichiro Koyama외 3명|arXiv (Cornell University)|2020. 10. 29.

Music and Audio Processing참고 문헌 29인용 수 12

한 줄 요약

이 논문은 신호 활동과 DOA 추정을 하나의 벡터 출력으로 통합하는 새로운 활동-결합 카르테시안 도래 방향(ACCDOA) 표현을 제안한다. 이는 단일 네트워크와 손실 함수를 사용하여 엔드 투 엔드 음향 이벤트 현장화 및 탐지(SELD)를 가능하게 한다. DCASE 2020 Task 3 데이터셋에서 평가한 결과, ACCDOA는 이중 분기 및 이전 최고 성능 방법에 비해 더 낮은 모델 복잡도와 향상된 현장화 정확도 및 위치 기반 F-스코어를 달성하여 최신 기술 수준에 도달했다.

ABSTRACT

Neural-network (NN)-based methods show high performance in sound event localization and detection (SELD). Conventional NN-based methods use two branches for a sound event detection (SED) target and a direction-of-arrival (DOA) target. The two-branch representation with a single network has to decide how to balance the two objectives during optimization. Using two networks dedicated to each task increases system complexity and network size. To address these problems, we propose an activity-coupled Cartesian DOA (ACCDOA) representation, which assigns a sound event activity to the length of a corresponding Cartesian DOA vector. The ACCDOA representation enables us to solve a SELD task with a single target and has two advantages: avoiding the necessity of balancing the objectives and model size increase. In experimental evaluations with the DCASE 2020 Task 3 dataset, the ACCDOA representation outperformed the two-branch representation in SELD metrics with a smaller network size. The ACCDOA-based SELD system also performed better than state-of-the-art SELD systems in terms of localization and location-dependent detection.

연구 동기 및 목표

• 신경망 기반 음향 이벤트 현장화 및 탐지(SELD)에서 다중 목표를 균형 잡는 문제, 특히 음향 이벤트 탐지(SED)와 도래 방향(DOA) 추정 간의 상충 관계를 해결하기 위해.
• 특히 엣지 장치에의 구현을 고려할 때 SELD 시스템의 모델 복잡도와 네트워크 크기를 줄이기 위해.
• SED와 DOA 예측을 하나의 활동-결합 표현으로 통합함으로써 현장화 정확도와 위치 기반 탐지 성능을 향상시키기 위해.
• 다중 목표 최적화에서 손실 가중치 조정이 필요 없도록 하기 위해, 병렬 SELD 작업을 단일 회귀 작업으로 변환하기 위해.

제안 방법

• DOA 벡터의 크기가 음향 이벤트 활동 수준을 나타내는 활동-결합 카르테시안 DOA(ACCDOA) 표현을 제안한다.
• 예측된 벡터와 진짜 벡터 간의 유클리드 거리 최소화를 위해 단일 손실 함수를 사용하여 각 타겟 음향 이벤트에 대해 프레임 단위 ACCDOA 벡터를 예측하는 단일 신경망을 훈련한다.
• 이벤트가 활성화되어 있지 않은 프레임에서는 손실을 활동 성분에만 계산하여, 실제로 DOA를 무시한다.
• 효율성을 위해, 블록 내부에 게이트드 순환 단위(GRUs)를 사용하는 수정된 RD3Net 아키텍처를 사용하고, 배치 정규화를 네트워크 역전파로 대체하며, 업샘플링 경로에서 밀집 블록을 제거한다.
• 정확도 향상을 위해, 입력을 첫 번째 순서의 아미브리닉스(FOA)로 회전하고, ACCDOA 벡터를 추론한 후 다시 원래 방향으로 회전시키며, 여러 회전 패턴에 걸쳐 결과를 평균 내는 후처리 기법을 적용한다.
• 훈련 중에 입력 프레임 길이를 1,024로 연장하고, STFT 특징과 겹침 세그먼트를 사용한 실시간 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 소리 이벤트 활동과 DOA 추정을 결합한 통합 표현이 SELD 성능을 향상시키고 모델 복잡도를 줄일 수 있는가?
• RQ2 다중 목표 훈련에서 손실 가중치 조정이 필요 없어지는 것이 더 안정적이고 높은 성능의 SELD 시스템을 만드는가?
• RQ3 단일 헤드, 단일 네트워크 접근 방식이 현장화 정확도와 탐지 F-스코어 측면에서 이중 분기 또는 이중 단계 방법을 능가할 수 있는가?
• RQ4 ACCDOA 표현은 최신 기술 수준의 SELD 시스템과 비교해 현장화 오차와 위치 기반 F-스코어 측면에서 어떻게 성능을 내는가?

주요 결과

• ACCDOA 표현은 DCASE 2020 Task 3 개발 세트에서 7.9°의 현장화 오차(LE)를 기록하여 이전 최고 성능 시스템(Wang et al.)의 9.4°를 능가했다.
• ACCDOA 기반 시스템은 20° 기준 F-스코어(F20°) 76.8%를 달성하여 이전 최고 성능 시스템(Wang et al.)의 76.4%를 초월했고, FOA 기반 베이스라인(37.4%)에 비해 크게 뛰어났다.
• 단지 156만 개의 파라미터로도 80.5%의 위치 재현율(LR)을 달성하여 높은 효율성과 뛰어난 성능을 입증했다.
• 동일한 네트워크 아키텍처(CRNN)에서 두 분기 베이스라인 대비 ACCDOA 표현은 위치 기반 F-스코어를 3.4 포인트 향상시켜 공간적으로 민감한 상황에서의 탐지 정확도 향상을 입증했다.
• 입력 회전 및 벡터 평균화를 통한 후처리 기법은 현장화 성능을 추가로 향상시켜 비처리 버전 대비 LE를 2.3° 감소시켰다.
• 모델 앙상블 없이도 ACCDOA 방법은 현장화 오차와 위치 기반 F-스코어 측면에서 모두 최신 기술 수준의 시스템을 능가했다.