[논문 리뷰] Event-Independent Network for Polyphonic Sound Event Localization and Detection

Yin Cao, Turab Iqbal외 4명|arXiv (Cornell University)|2020. 09. 30.

Music and Audio Processing참고 문헌 22인용 수 24

한 줄 요약

이 논문은 1차원 아미브리온릭스(FOA) 입력을 사용하여 다성분 음향 이벤트 정렬 및 탐지(SELD)를 위한 종단간(end-to-end), 이벤트에 의존하지 않는 신경망을 제안한다. 이는 트랙 단위 예측과 프레임 수준의 순열 불변 훈련(tPIT)을 활용하며, 새로운 이벤트 활성도 탐지(EAD) 헤드를 도입하여 음향 이벤트 탐지(SED)와 도래 방향(DoA) 추정을 동시에 최적화함으로써, DCASE 2020 Task 3 데이터셋에서 이전의 이중 단계 기반 모델들보다 성능을 크게 향상시킨다.

ABSTRACT

Polyphonic sound event localization and detection is not only detecting what sound events are happening but localizing corresponding sound sources. This series of tasks was first introduced in DCASE 2019 Task 3. In 2020, the sound event localization and detection task introduces additional challenges in moving sound sources and overlapping-event cases, which include two events of the same type with two different direction-of-arrival (DoA) angles. In this paper, a novel event-independent network for polyphonic sound event localization and detection is proposed. Unlike the two-stage method we proposed in DCASE 2019 Task 3, this new network is fully end-to-end. Inputs to the network are first-order Ambisonics (FOA) time-domain signals, which are then fed into a 1-D convolutional layer to extract acoustic features. The network is then split into two parallel branches. The first branch is for sound event detection (SED), and the second branch is for DoA estimation. There are three types of predictions from the network, SED predictions, DoA predictions, and event activity detection (EAD) predictions that are used to combine the SED and DoA features for on-set and off-set estimation. All of these predictions have the format of two tracks indicating that there are at most two overlapping events. Within each track, there could be at most one event happening. This architecture introduces a problem of track permutation. To address this problem, a frame-level permutation invariant training method is used. Experimental results show that the proposed method can detect polyphonic sound events and their corresponding DoAs. Its performance on the Task 3 dataset is greatly increased as compared with that of the baseline method.

연구 동기 및 목표

• 동일한 유형의 겹치는 음향 이벤트를 서로 다른 DoA로 탐지하는 데에 한계가 있는 이중 단계 기반 방법의 문제점을 해결하기 위해.
• 시간적 및 공간적 정렬 성능을 향상시키기 위해 음향 이벤트, DoA, 이벤트 활성도를 동시에 예측하는 종단간 프레임워크를 개발하기 위해.
• 다중 트랙 예측에서 발생하는 트랙 순열 문제를 해결하기 위해 프레임 수준의 순열 불변 훈련(tPIT)을 도입하기 위해.
• SED 및 DoA 특징을 융합하는 이벤트 활성도 탐지(EAD) 헤드를 통해 온셋 및 오프셋 추정 정확도를 향상시키기 위해.
• 두 개 이상의 겹치는 이벤트를 처리할 수 있도록 확장 가능한 아키텍처를 구축하기 위해.

제안 방법

• 네트워크는 1차원 컨볼루션 레이어를 통해 1차원 아미브리온릭스(FOA) 시간 도메인 신호를 처리하여 음향 특징을 추출한다.
• 특징 스트림은 두 갈래의 병렬 브랜치로 분할되며, 하나는 음향 이벤트 탐지(SED)를 위한 것이고, 다른 하나는 도래 방향(DoA) 추정을 위한 것이다.
• 모델은 프레임당 세 가지 예측을 출력한다: SED, DoA, 그리고 이벤트 활성도 탐지(EAD)이며, 각각 최대 두 개의 트랙을 포함하여 최대 한 개의 이벤트를 각 트랙에 할당한다.
• 백프로파게이션 동안 가능한 모든 트랙 순열 중 손실가장 낮은 조합을 선택함으로써 트랙 순열의 모호성을 해결하기 위해 프레임 수준의 순열 불변 훈련(tPIT) 전략을 적용한다.
• 이벤트 활성도 탐지(EAD) 헤드는 SED 및 DoA 브랜치의 특징 임bedding을 결합하여 이벤트 존재 여부를 예측하고, 온셋/오프셋 추정 정확도를 향상시킨다.
• EAD 예측을 이진화하기 위해 임계값 0.5를 적용하며, SED 및 EAD 출력을 함께 사용하여 활성 트랙을 필터링한다.

실험 결과

연구 질문

• RQ1 종단간, 이벤트에 의존하지 않는 네트워크가 동일 클래스의 서로 다른 DoA를 가진 겹치는 다수의 음향 이벤트를 효과적으로 탐지하고 정렬할 수 있는가?
• RQ2 프레임 수준의 순열 불변 훈련(tPIT)이 트랙 할당이 모호한 다중 트랙 SELD에서 성능을 어떻게 향상시키는가?
• RQ3 이벤트 활성도 탐지(EAD) 헤드를 도입함으로써 다성분 SELD에서 온셋 및 오프셋 예측 정확도는 어느 정도 향상되는가?
• RQ4 EAD를 통한 SED 및 DoA 특징의 공동 모델링 방식이 SED와 DoA 간의 일방적 의존성과 비교해 어떻게 우월한가?
• RQ5 제안된 아키텍처는 두 개 이상의 겹치는 이벤트를 처리할 수 있도록 확장 가능한가?

주요 결과

• tPIT와 EAD를 갖춘 제안된 이벤트에 의존하지 않는 종단간 시스템은 DCASE 2020 Task 3 데이터셋에서 모든 베이스라인 모델, 특히 DCASE 2019의 이중 단계 접근 방식을 능가한다.
• 제거 실험 결과, EAD와 tPIT를 제거할 경우 성능이 가장 열 劣하므로, 두 구성 요소가 최적 성능 달성에 필수적임을 확인한다.
• 'Track-Wise 3' 변형은 SED 및 EAD 예측을 마스크로 사용하는 방식으로, 단지 SED만을 사용하는 'Track-Wise 2'보다 뛰어난 성능을 보이며, EAD가 시간적 및 트랙 결합 일관성에 효과적임을 입증한다.
• 정렬 재현율(LR_CD)과 정렬 오차(LE_CD) 사이의 트레이드오���이 존재하나, 제안된 'Event-Ind' 방법은 모든 지표에서 가장 균형 잡힌 성능을 달성한다.
• 베이스라인 대비 성능이 크게 향상되었으며, 비교 결과에서 가장 높은 F-스코어와 가장 낮은 오차율을 기록하여, 공동 최적화 및 tPIT 전략의 성공을 확인한다.