[논문 리뷰] MeshRIR: A Dataset of Room Impulse Responses on Meshed Grid Points For Evaluating Sound Field Analysis and Synthesis Methods

Shoichi Koyama, Tomoya Nishida외 4명|arXiv (Cornell University)|2021. 06. 21.

Speech and Audio Processing인용 수 6

한 줄 요약

MeshRIR는 3차원 상자형 및 2차원 정사각형 영역 전역에서 0.05 m 간격의 미세한 격자 점들에서 측정된 실내 임펄스 응답(RIR)의 새로운 데이터셋으로, 음향장 분석 및 합성 방법의 고해상도 평가를 가능하게 한다. 음향장 복원 및 제어 등의 응용 분야를 지원하며, 샘플 응용 사례에서 평균 제곱오차(MSE)는 -13.7 dB, 신호 대 왜곡비(SDR)는 3.85 dB를 기록하였다.

ABSTRACT

A new impulse response (IR) dataset called "MeshRIR" is introduced. Currently available datasets usually include IRs at an array of microphones from several source positions under various room conditions, which are basically designed for evaluating speech enhancement and distant speech recognition methods. On the other hand, methods of estimating or controlling spatial sound fields have been extensively investigated in recent years; however, the current IR datasets are not applicable to validating and comparing these methods because of the low spatial resolution of measurement points. MeshRIR consists of IRs measured at positions obtained by finely discretizing a spatial region. Two subdatasets are currently available: one consists of IRs in a three-dimensional cuboidal region from a single source, and the other consists of IRs in a two-dimensional square region from an array of 32 sources. Therefore, MeshRIR is suitable for evaluating sound field analysis and synthesis methods. This dataset is freely available at https://sh01k.github.io/MeshRIR/ with some codes of sample applications.

연구 동기 및 목표

• 음향장 분석 및 합성 방법 평가에 적합한 공개된 고공간 해상도 RIR 데이터셋의 부족을 보완하기 위해.
• 밀도 높은 측정 격자망을 사용하여 음향장 복원 및 제어와 같은 공간 음향 처리 기법의 현실적인 검증을 가능하게 하기 위해.
• 모든 방법 간의 벤치마킹 및 비교를 위한 세밀한 임펄스 응답을 포함한 자유로운 공개 데이터셋을 제공하기 위해.
• 파형장 복원, 보간, 활성 음향장 제어 등을 포함한 공간 음향 분야의 연구를 지원하기 위해.
• 기존 데이터셋을 확장하여 3차원 영역에서 3969개, 2차원 영역에서 441개의 측정점이 포함된 서브데이터셋을 제공하기 위해.

제안 방법

• 3차원 상자형 영역(1.0×1.0×0.4 m)에서 단일 소스로부터, 2차원 정사각형 영역(1.0×1.0 m)에서 32개의 소스 위치로부터 0.05 m 간격으로 RIR을 측정하여 데이터셋을 구축하였다.
• 모든 RIR은 실제 실내(7.0×6.4×2.7 m)에서 48 kHz로 측정되었으며, 32768개 샘플 길이로, 높은 정확도를 확보하기 위해 스위프 싸인 입력 신호를 사용하였다.
• 음향장 복원은 무한 차수의 구면 조화 분석을 통해 수행되었으며, 이는 제로차수의 구면 베셀 함수를 사용한 커널 보간과 동일하다.
• 음향장 제어는 압력 일치 방법을 통해 구현되었으며, 16개의 제어 포인트를 사용하여 합성된 장과 목표 장 사이의 오차를 최소화하였다.
• 복원 및 제어 응용을 위한 샘플 코드가 포함되어 있으며, 계산 효율성을 위해 시간 도메인 필터 설계 및 8 kHz로 다운샘플링된 신호가 포함되어 있다.
• 측정 영역은 균일한 메쉬로离산화되어, 임의의 부분집합을 입력으로 사용하고 나머지를 기준값으로 삼아 검증에 활용할 수 있다.

Figure 1: IR measurement system for S32-M441 .

실험 결과

연구 질문

• RQ1 밀도 높은 공간 샘플링을 가진 고해상도 RIR 데이터셋이 음향장 복원 방법 평가에 개선을 가져올 수 있는가?
• RQ2 희소 측정점 집합으로부터 구면 조화 분해를 사용할 때 음향장은 얼마나 정확하게 복원될 수 있는가?
• RQ3 다양한 loudspeaker를 사용하여 제어 영역 내에서 평면파와 같은 목표 음향장을 얼마나 잘 합성할 수 있는가?
• RQ4 밀도 높은 RIR 데이터셋을 사용할 경우 음향장 제어에서 확보 가능한 신호 대 왜곡비(SDR)는 어느 정도인가?
• RQ5 세밀한 RIR을 포함한 공개적이고 제한 없는 데이터셋이 공간 음향 처리 방법의 표준화된 벤치마킹을 가능하게 할 수 있는가?

주요 결과

• 2차원 평면상의 18개 마이크로폰으로부터 압력 분포를 추정할 때 음향장 복원 실험에서 평균 제곱오차(MSE)는 -13.7 dB를 기록하였다.
• 1.0×1.0 m 목표 영역에서 평면파를 합성할 때 음향장 제어 실험에서 신호 대 왜곡비(SDR)는 3.85 dB를 달성하였다.
• 데이터셋은 3차원 상자형 영역에서 3969개, 2차원 정사각형 영역에서 441개의 RIR을 포함하며, 모두 0.05 m 공간 해상도를 가진다.
• 3차원 서브데이터셋(S1-M3969)의 리버버버레이션 시간(T60)은 0.38 s이며, 2차원 서브데이터셋(S32-M441)의 T60는 0.19 s이다.
• 데이터셋은 https://sh01k.github.io/MeshRIR/ 에서 비제한 라이선스 하에 공개되어 있으며, 복원 및 제어를 위한 샘플 코드가 함께 제공된다.
• 파형장 복원 및 활성 음향장 제어와 같이 밀도 높은 공간 샘플링을 요구하는 방법의 검증을 가능하게 하며, 이는 기존 데이터셋이 충분히 지원하지 못하는 분야이다.

Figure 4: IRs with respect to time along $y$ -axis at $(x,z)=(0,0)~{}\mathrm{m}$ of S1-M3969 .