[논문 리뷰] BIRD: Big Impulse Response Dataset

François Grondin, Jean-Samuel Lauzon외 3명|arXiv (Cornell University)|2020. 10. 19.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

BIRD는 이미지 방법을 사용하여 시뮬레이션된 100,000개의 다중채널 방 인식 응답(RIR)을 포함하는 대규모이고 오픈소스의 다중채널 RIR 데이터셋으로, 원거리 음성 인식을 위한 효율적인 온라인 데이터 증강을 가능하게 한다. 다양한 실내 환경 설정, 마이크 간격, 소스 위치를 지원하여, LibriSpeech와 같은 음성 코퍼스와 결합할 경우 다중채널, 다중 반사 환경에서의 강인성을 크게 향상시킨다.

ABSTRACT

This paper introduces BIRD, the Big Impulse Response Dataset. This open dataset consists of 100,000 multichannel room impulse responses (RIRs) generated from simulations using the Image Method, making it the largest multichannel open dataset currently available. These RIRs can be used toperform efficient online data augmentation for scenarios that involve two microphones and multiple sound sources. The paper also introduces use cases to illustrate how BIRD can perform data augmentation with existing speech corpora.

연구 동기 및 목표

• 실세계 환경에서의 반사와 노이즈로 인한 도메인 불일치 문제를 해결하기 위해.
• 제한된 실재 기록에 의존하는 것을 줄이기 위해 확장 가능하고 오픈소스인 다중채널 RIR 데이터셋을 제공하기 위해.
• 사전 계산된 RIR를 사용하여 신경망 학습을 위한 효율적인 온라인 데이터 증강을 가능하게 하기 위해.
• 소스 위치 추정, 반사 시간 추정, 소스 수 계산과 같은 다양한 다중채널 음성 처리 작업을 지원하기 위해.
• PyTorch 호환 데이터 로더를 통해 기존의 음성 코퍼스(예: LibriSpeech)와의 통합을 가능하게 하기 위해.

제안 방법

• 직육면체 실내에서 랜덤한 치수, 흡음 계수, 음속을 가진 환경에서 이미지 방법을 사용해 100,000개의 다중채널 RIR을 시뮬레이션한다.
• 각 실내에서 랜덤하게 4개의 일방향 소스와 거리, 방향, 위치가 변하는 이중 마이크 쌍을 배치한다.
• 실내 치수($L_x, L_y, L_z$), 흡음($\alpha$), 음속($c$), 마이크 간격($d$), 방향 각도($\theta_{\text{yaw}}, \theta_{\text{pitch}}, \theta_{\text{roll}}$)에 대해 균일한 랜덤 샘플링을 수행한다.
• 선형 컨볼루션을 통해 오디오 믹스처를 생성한다: $ y_{k} = v \sum_{i=1}^{I} g_i y_{i,k} $, 여기서 $ y_{i,k} = h_{i,k} \ast x_i $.
• 도착 시간 차이(TDOA)와 반사 시간(RT60)을 계산한 메타데이터를 제공한다. RT60은 Sabin-Franklin 공식을 사용해 계산된다.
• PyTorch 호환 데이터 로더를 제공하여 BIRD를 음성 코퍼스와 결합해 학습 중 온라인 데이터 증강을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모이고 오픈소스인 다중채널 RIR 데이터셋이 반사가 강한 다중 소스 환경에서 딥러닝 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ2 사전 계산된 RIR를 사용한 온라인 데이터 증강이 오프라인 증강이나 실재 기록에 비해 얼마나 효과적인가?
• RQ3 실제 시뮬레이션 환경에서 주요 음향 특성인 TDOA와 RT60의 분포는 어떻게 되는가?
• RQ4 BIRD가 소스 위치 추정 및 이상 비율 마스크 추정과 같은 다양한 음성 처리 작업을 얼마나 잘 지원할 수 있는가?
• RQ5 표준 딥러닝 프레임워크를 사용하는 기존 머신러닝 파이프라인에 BIRD를 얼마나 잘 통합할 수 있는가?

주요 결과

• BIRD 데이터셋은 100,000개의 다중채널 RIR을 포함하여 현재까지 공개된 가장 큰 다중채널 RIR 코퍼스이다.
• TDOA 분포는 라플라스 유사한 형태를 띠며, 대부분의 값이 0 근처에 집중되어 있어 대칭적인 소스-마이크 구성이 대부분임을 나타낸다.
• RT60 값은 감마 분포를 따르며, 약 0.05에서 1.1초의 범위를 가지며 일반적인 실내 음향 조건을 커버한다.
• 이 데이터셋은 효과적인 온라인 데이터 증강을 가능하게 하여 학습의 병목 현상을 줄이고, 다중채널, 반사가 강한 환경에서의 모델 강인성을 향상시킨다.
• PyTorch 데이터 로더를 통한 LibriSpeech와의 통합은 현대 딥러닝 워크플로우에서의 원활한 사용을 가능하게 한다.
• 이 데이터셋은 소스 위치 추정, RT60 추정, 소스 수 계산, 이상 비율 마스크 예측 등 다양한 후행 작업을 지원한다.