[논문 리뷰] Sound Event Localization and Detection for Real Spatial Sound Scenes: Event-Independent Network and Data Augmentation Chains

Jinbo Hu, Yin Cao외 5명|arXiv (Cornell University)|2022. 09. 05.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 실세계 공간 음향 환경에서 음향 이벤트 정렬 및 탐지(Sound Event Localization and Detection, SELD)를 위해 Conformer 기반의 특징 추출과 확률적 데이터 증강 체인을 갖춘 이벤트 독립 네트워크 V2(EINV2)를 제안한다. FSD50K, AudioSet 및 TAU-SRIR DB에서 유도된 시뮬레이션 데이터를 활용하고, 소프트 파rameter 공유를 적용한 다중 헤드 자기주의 기반 모델은 DCASE 2022 Task 3 도전 대회에서 2등을 기록하여 클래스 불균형 및 환경 변화에 대한 일반화 능력과 강건성을 향상시켰다.

ABSTRACT

Sound event localization and detection (SELD) is a joint task of sound event detection and direction-of-arrival estimation. In DCASE 2022 Task 3, types of data transform from computationally generated spatial recordings to recordings of real-sound scenes. Our system submitted to the DCASE 2022 Task 3 is based on our previous proposed Event-Independent Network V2 (EINV2) with a novel data augmentation method. Our method employs EINV2 with a track-wise output format, permutation-invariant training, and a soft parameter-sharing strategy, to detect different sound events of the same class but in different locations. The Conformer structure is used for extending EINV2 to learn local and global features. A data augmentation method, which contains several data augmentation chains composed of stochastic combinations of several different data augmentation operations, is utilized to generalize the model. To mitigate the lack of real-scene recordings in the development dataset and the presence of sound events being unbalanced, we exploit FSD50K, AudioSet, and TAU Spatial Room Impulse Response Database (TAU-SRIR DB) to generate simulated datasets for training. We present results on the validation set of Sony-TAu Realistic Spatial Soundscapes 2022 (STARSS22) in detail. Experimental results indicate that the ability to generalize to different environments and unbalanced performance among different classes are two main challenges. We evaluate our proposed method in Task 3 of the DCASE 2022 challenge and obtain the second rank in the teams ranking. Source code is released.

연구 동기 및 목표

• 실세계 공간 음향 환경에서 합성 데이터 분포가 실제 조건과 일치하지 않는 상황에서 음향 이벤트 정렬 및 탐지(SELD) 문제를 해결한다.
• 동일한 클래스의 이벤트가 서로 다른 위치에 존재할 경우를 구분할 수 없는 기존 모델의 한계를 보완하기 위해, 이벤트 독립적인 트랙 단위 출력 형식을 사용한다.
• 다양한 환경에서의 일반화 능력을 향상시키고, 실세계 기록에서의 클래스 불균형으로 인한 성능 저하를 완화한다.
• 특징 다양성과 강건성을 향상시키기 위해 확률적 체인 형식의 증강 연산을 적용한 새로운 데이터 증강 전략을 개발한다.
• FSD50K, AudioSet 등의 외부 데이터셋과 측정된 방 반사 응답(TAU-SRIR DB)을 활용하여 현실적인 시뮬레이션 학습 데이터를 생성함으로써 모델 성능을 향상시킨다.

제안 방법

• 각 트랙이 독립적으로 음향 이벤트를 예측하는 트랙 단위 출력 형식을 갖춘 이벤트 독립 네트워크 V2(EINV2)를 사용하여, 동일한 클래스의 이벤트가 서로 다른 위치에 존재할 경우에도 탐지할 수 있도록 한다.
• 다중 헤드 자기주의(MHSA)와 트랙 간 소프트 파rameter 공유 전략을 통합하여 다중 작업 학습을 가능하게 하고 일반화 능력을 향상시킨다.
• 지역적이고 전역적인 시간-스펙트럼 특징을 모두 포착하기 위해 컨볼루션과 자기주의 기반의 Conformer 블록을 EINV2에 통합한다.
• 다양한 학습 샘플을 생성하기 위해 다중 증강 연산을 무작위로 선택하고 쌓는 방식의 새로운 데이터 증강 방법을 구현한다.
• FSD50K와 AudioSet의 음향 이벤트를 TAU-SRIR DB에서 측정한 방 반사 응답과 무작위로 컨볼루션하여 실제 공간 음향 환경을 모의한 시뮬레이션 학습 데이터를 생성한다.
• 로그 멜 스펙트로그램과 로그 멜 공간 내 강도 벡터(IVs)를 입력 특징으로 사용하며, 원시 웨이브폼에서 직접 1D 컨볼루션 레이어를 통해 계산하여 엔드 투 엔드 데이터 증강 지원을 구현한다.

실험 결과

연구 질문

• RQ1 어떻게 다양한 실제 음향 환경에서 일반화 능력이 향상된 음향 이벤트 정렬 및 탐지 모델을 설계할 수 있는가?
• RQ2 학습 데이터가 제한적이거나 실제 테스트 조건과 불일치할 경우, 데이터 증강 체인이 모델의 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ3 소프트 파rameter 공유 기반의 이벤트 독립 네트워크는 서로 다른 공간 위치에 존재하는 동일한 음향 클래스의 여러 인스턴스를 효과적으로 탐지할 수 있는가?
• RQ4 실제 공간 음향 환경에서 공식 합성 혼합 데이터로 학습된 모델과 비교해 볼 때, 시뮬레이션 데이터로 학습된 모델의 성능은 어떠한가?
• RQ5 실세계 환경에서 클래스 분포가 불균형하고 복잡한 공간 관계를 포함할 경우, SELD 시스템의 성능 저하의 주요 원인은 무엇인가?

주요 결과

• 제안된 시스템은 DCASE 2022 Task 3 도전 대회에서 공식 베이스라인 모델을 능가하며 2위를 기록했다.
• 데이터 증강 체인을 적용한 EINV2는 증강 없이 학습한 EINV2에 비해 성능이 크게 향상되어, 이론적 확률적 증강 체인의 효과를 입증했다.
• 20° 공간 임계값 하에서 ' knocking' 클래스의 F1 점수는 80.0%를 기록했지만, 'water tap and faucet' 클래스는 단지 2.2%에 머물러, 강력한 클래스별 성능 불균형을 보였다.
• 정렬 성능은 방 2에서 가장 열 劣하였으며, 이는 그 방의 크기가 작아서일 가능성이 있다. 또한 방 24에서는 'walk, footsteps' 클래스의 정렬 재현율이 0.0%에 머물러, 시뮬레이션 데이터의 품질 문제를 시사했다.
• 방 24에서 'water tap and faucet' 클래스의 성능이 심각하게 저하되었으며, 이는 'dishes, pots, and pans'와 같은 간섭 이벤트와의 시간적·공간적 동시 발생을 제대로 모의하지 못했기 때문으로 분석된다.
• FSD50K, AudioSet 및 TAU-SRIR DB에서 유도된 시뮬레이션 데이터가 공식 합성 혼합 데이터보다 더 효과적인 것으로 확인되어, 현실적인 데이터 증강의 가치를 입증했다.