[논문 리뷰] L3DAS22 Challenge: Learning 3D Audio Sources in a Real Office Environment

Eric Guizzo, C. Marinoni외 7명|arXiv (Cornell University)|2022. 02. 21.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 실내 사무실 환경에서 앰비소닉 기록을 사용하여 3D 오디오 소스 분離 및 정렬을 중점으로 한 머신러닝 그랜드 챌린지인 L3DAS22 챌린지를 제시한다. 새로운 98시간 분량의 MSMP B-포맷 데이터셋을 제공하고, 최고 성능을 낸 아키텍처(음성 향상에 U-Net, 소리 정렬에 수정된 SELDnet)를 활용해 기준 모델을 개선하며, 3D 음성 향상에서 F1 스코어 0.984, 3D 소리 이벤트 정렬 및 탐지에서 0.699의 최신 기술 수준 성과를 보고한다.

ABSTRACT

The L3DAS22 Challenge is aimed at encouraging the development of machine learning strategies for 3D speech enhancement and 3D sound localization and detection in office-like environments. This challenge improves and extends the tasks of the L3DAS21 edition. We generated a new dataset, which maintains the same general characteristics of L3DAS21 datasets, but with an extended number of data points and adding constrains that improve the baseline model's efficiency and overcome the major difficulties encountered by the participants of the previous challenge. We updated the baseline model of Task 1, using the architecture that ranked first in the previous challenge edition. We wrote a new supporting API, improving its clarity and ease-of-use. In the end, we present and discuss the results submitted by all participants. L3DAS22 Challenge website: www.l3das.com/icassp2022.

연구 동기 및 목표

• 복잡한 음향 환경을 가진 실생활 사무실 환경에서 3D 오디오 처리를 위한 머신러닝 기술을 발전시키기 위해.
• L3DAS21 챌린지의 한계를 보완하기 위해 데이터셋 크기를 확대하고, 데이터 합성 방식을 개선하며, 계산 자원 소모를 줄이기 위해.
• 3D 음성 향상(SE)과 3D 소리 이벤트 정렬 및 탐지(SELD)를 위한 업데이트된 고성능 기준 모델을 제공하기 위해.
• 데이터 전처리 및 모델 훈련을 위한 보다 설계가 명확하고 빠르며 버그 수정이 완료된 새로운 API를 통해 재현 가능한 연구를 촉진하기 위해.
• 실생활 앰비소닉 기록을 기반으로 두 핵심 과제인 3D SE와 3D SELD에서 새로운 딥러닝 접근법의 평가 및 벤치마킹을 수행하기 위해.

제안 방법

• 실제 사무실 실내에서 두 대의 일阶 Soundfield 마이크로폰을 사용하여 98시간 분량의 다중 소스, 다중 시점(MSMP) B-포맷 앰비소닉 기록을 확보하였다.
• 20초 분량의 지수적 사인 스위프를 사용하여 3D 인파르스 응답을 추정하기 위해 252개의 화자 위치(168개 격자 + 84개 랜덤)를 활용한 데이터셋을 합성하였다.
• 빔포밍을 통해 노이즈가 있는 B-포맷 신호를 향상시키기 위해 시간-주파수 마스크를 추정하는 U-Net 기반 모델을 개발하여 3D 음성 향상에 활용하였다.
• 3D SELD를 위한 SELDnet 아키텍처를 수정: PyTorch를 사용하고 네트워크 용량을 증가시키며 위상 정보를 제거하고, 시간과 주파수 방향으로 최대 풀링을 적용하고, 동일한 클래스의 동시에 최대 3개의 소스 탐지를 가능하게 하였다.
• 데이터 전처리 및 기준 모델 훈련/평가를 간소화하기 위해 명확성, 성능 향상, 버그 수정이 완료된 새로운 개선된 API를 구현하였다.
• 참가자들이 1마이크로폰 및 2마이크로폰 구성 모두를 사용할 수 있도록 하였고, 데이터 증강 또는 사전 학습 모델 사용이 가능하며, 방법론적 접근에 제한이 없도록 하였다.

실험 결과

연구 질문

• RQ1 실생활 3D 오디오 데이터셋을 효과적으로 합성하여 강력한 3D 음성 향상 및 소리 정렬 과제를 지원할 수 있는 방법은 무엇인가?
• RQ2 앰비소닉 신호를 사용할 때 3D 음성 향상 및 3D 소리 이벤트 정렬 및 탐지에서 최고의 성능을 내는 딥러닝 아키텍처는 무엇인가?
• RQ3 이전 챌린지 대비 성능을 유지하거나 향상시키면서도 계산 자원 소모를 줄일 수 있도록 기준 모델을 어떻게 개선할 수 있는가?
• RQ4 반사가 강한 환경에서 3D 오디오 처리의 주요 과제는 무엇이며, 데이터 및 모델 설계를 통해 이를 어떻게 완화할 수 있는가?
• RQ5 L3DAS22 챌린지에서 참가자들이 다양한 아키텍처, 데이터 증강 기법 또는 전이 학습을 통해 기준 모델을 얼마나 향상시킬 수 있는가?

주요 결과

• L3DAS22 챌린지 데이터셋은 제어된 반사 환경을 가진 실생활 사무실 환경에서 확보한 고해상도, 다중 소스, 다중 시점 B-포맷 기록으로 총 98시간 분량이다.
• 3D 음성 향상 부문에서 우승한 팀(ESP-SE)은 T1 지표 스코어 0.984를 기록했으며, 단어 오류율은 0.019, STOI는 0.987이었고, 기준 모델의 0.83보다 뚜렷이 뛰어난 성능을 보였다.
• 3D SELD 부문에서 우승한 팀(Lab9_DSP411)은 T2 지표 스코어 0.699를 기록했으며, 정밀도는 0.706, 재현율은 0.691이었고, 기준 F-스코어 0.34를 뛰어넘었다.
• 다수의 팀이 두 과제 모두에서 기준 모델을 향상시켰으며, 고도화된 아키텍처와 데이터 증강 전략의 효과성을 입증하였다.
• 새로운 API는 데이터 전처리 및 기준 모델 훈련의 효율성과 사용성을 크게 향상시켜 더 빠른 반복과 재현 가능성을 지원하였다.
• 챌린지는 총 46개의 등록과 24개의 제출을 기록했으며, 3D SE에 17개 팀, 3D SELD에 7개 팀이 결과를 제출하여 3D 오디오 머신러닝 분야에서의 활발한 커뮤니티 참여를 보였다.