[논문 리뷰] Deep Sound Field Reconstruction in Real Rooms: Introducing the ISOBEL Sound Field Dataset

Miklas S. Kristoffersen, Martin Bo Møller외 2명|arXiv (Cornell University)|2021. 02. 12.

Speech and Audio Processing인용 수 11

한 줄 요약

이 논문은 네 개의 다른 실내 환경에서 측정한 실실내 임펄스 응답을 포함하는 공개된 ISOBEL Sound Field Dataset를 소개하고, 최소 다섯 개의 마이크로폰만으로도 복소수 음향장의 복원을 위한 딥러닝 기반 방법을 제안한다. 이 방법은 150 Hz 이하에서 위상 응답까지 고해상도로 복원할 수 있으며, 최소한의 측정치로도 이상적인 실내 전달 함수와 유사한 대비 비율을 갖는 정확한 사운드 존 제어를 가능하게 한다.

ABSTRACT

Knowledge of loudspeaker responses are useful in a number of applications, where a sound system is located inside a room that alters the listening experience depending on position within the room. Acquisition of sound fields for sound sources located in reverberant rooms can be achieved through labor intensive measurements of impulse response functions covering the room, or alternatively by means of reconstruction methods which can potentially require significantly fewer measurements. This paper extends evaluations of sound field reconstruction at low frequencies by introducing a dataset with measurements from four real rooms. The ISOBEL Sound Field dataset is publicly available, and aims to bridge the gap between synthetic and real-world sound fields in rectangular rooms. Moreover, the paper advances on a recent deep learning-based method for sound field reconstruction using a very low number of microphones, and proposes an approach for modeling both magnitude and phase response in a U-Net-like neural network architecture. The complex-valued sound field reconstruction demonstrates that the estimated room transfer functions are of high enough accuracy to allow for personalized sound zones with contrast ratios comparable to ideal room transfer functions using 15 microphones below 150 Hz.

연구 동기 및 목표

• 실제 실내 측정치를 포함하는 공개된 데이터셋을 제공하여 시뮬레이션된 음향장 복원과 실제 환경 간의 격차를 메우기 위해.
• 시뮬레이션된 데이터로 훈련된 딥러닝 기반의 크기 복원 모델이 실제 실내 환경, 특히 저주파수에서 일반화되는지 평가하기 위해.
• 복소수 입력(크기 및 위상)을 고려한 음향장 복원을 위해 U-Net 유사 아키텍처를 사용하여 정확도를 향상시키기 위해.
• 낮은 수의 마이크로폰으로도 실용적인 사운드 존 제어 응용에 활용 가능한 복원된 음향장의 실용적 유용성을 입증하기 위해.

제안 방법

• 15개의 마이크로폰을 사용하여 네 개의 실제 직육면체 실내에서 ISOBEL Sound Field Dataset를 측정하였으며, 바닥에서 1m 높이의 3차원 격자 상에서 임펄스 응답을 측정하였다.
• 희소하고 임의로 배치된 마이크로폰 측정치로부터 복소수 음향장을 복원하기 위해 U-Net 유사 딥 네트워크를 사용하며, 크기 및 위상 응답을 동시에 학습한다.
• 일반화를 가능하게 하기 위해 다양한 실내 치수와 리버버버레이션 시간을 가진 대규모 시뮬레이션 데이터로 모델을 먼저 훈련시켰다.
• 모델은 상대적 마이크로폰 위치를 단위 없는 격자 기반으로 사용하므로, 추론 시 절대 공간 좌표가 필요로 하지 않는다.
• 사운드 존 제어를 위해, 복원된 실내 전달 함수(RTFs)를 사용하여 존 간 음향 대비를 최대화하는 비드포밍 가중치를 계산한다.
• 성능 평가 시, 시뮬레이션된 실내와 실제 실내에서 음향 대비 비율(ACR)을 사용하며, 알려진 RTF를 가진 희소 복원과 비교한다.

실험 결과

연구 질문

• RQ1 시뮬레이션된 데이터로 훈련된 딥러닝 기반 음향장 복원 방법이 실제 실내 환경, 특히 저주파수에서 효과적으로 일반화되는가?
• RQ2 복원 과정에서 크기뿐 아니라 위상까지 모델링할 경우, 크기만 모델링하는 것에 비해 성능에 어떤 영향을 미치는가?
• RQ3 매우 적은 수의 마이크로폰으로부터 복소수 음향장을 복원하는 것이 실제 실내에서 실용적인 사운드 존 제어를 얼마나 잘 가능하게 하는가?
• RQ4 복소수 복원에서 시뮬레이션된 데이터와 실제 데이터 간의 성능 격차는 무엇이며, 그 원인은 무엇인가?

주요 결과

• 15개 마이크로폰 측정치를 포함하는 ISOBEL Sound Field Dataset가 네 개의 실제 실내에서 공개되어 음향장 복원 방법의 벤치마킹을 지원한다.
• 시뮬레이션된 데이터로 훈련된 딥러닝 기반 크기 복원 모델은 150 Hz 이하에서 실제 실내에서 높은 정확도를 달성하며, 5개 및 15개 마이크로폰로 희소 복원하는 것보다 우수한 성능을 보인다.
• 모델을 복소수 복원으로 확장함으로써 정확도가 크게 향상되어 이상적인 RTF와 유사한 대비 비율을 갖는 정확한 사운드 존 제어가 가능해진다.
• 다섯 개의 마이크로폰만으로도 복원된 음향장이 사운드 존 제어에 충분한 정확도를 제공하며, 150 Hz 이하에서 유의미한 음향 대비 비율을 달성한다.
• 복소수 복원에서 시뮬레이션된 데이터와 실제 데이터 간의 성능 격차가 존재하며, 이는 합성 환경에서 실환경으로 위상 정보를 전이하는 데 어려움이 있음을 시사한다.
• 실제 환경 평가에서 마이크로폰 위치의 불확실성에 대해서도 강건성을 보이며, 최대 ±1.0m의 위치 오차가 발생하더라도 성능을 유지한다.