[论文解读] Deep Sound Field Reconstruction in Real Rooms: Introducing the ISOBEL Sound Field Dataset

Miklas S. Kristoffersen, Martin Bo Møller+2 more|arXiv (Cornell University)|Feb 12, 2021

Speech and Audio Processing被引用 11

一句话总结

本文介绍了 ISOBEL Sound Field Dataset，这是一个公开可用的真实房间脉冲响应数据集，涵盖四个不同房间，同时提出一种基于深度学习的方法，仅使用五个麦克风即可重建复数声场。该方法在150 Hz以下实现了高保真度的幅度和相位响应重建，即使测量数据极少，也能实现与理想房间传输函数相当的对比度比，从而实现精确的声音区域控制。

ABSTRACT

Knowledge of loudspeaker responses are useful in a number of applications, where a sound system is located inside a room that alters the listening experience depending on position within the room. Acquisition of sound fields for sound sources located in reverberant rooms can be achieved through labor intensive measurements of impulse response functions covering the room, or alternatively by means of reconstruction methods which can potentially require significantly fewer measurements. This paper extends evaluations of sound field reconstruction at low frequencies by introducing a dataset with measurements from four real rooms. The ISOBEL Sound Field dataset is publicly available, and aims to bridge the gap between synthetic and real-world sound fields in rectangular rooms. Moreover, the paper advances on a recent deep learning-based method for sound field reconstruction using a very low number of microphones, and proposes an approach for modeling both magnitude and phase response in a U-Net-like neural network architecture. The complex-valued sound field reconstruction demonstrates that the estimated room transfer functions are of high enough accuracy to allow for personalized sound zones with contrast ratios comparable to ideal room transfer functions using 15 microphones below 150 Hz.

研究动机与目标

• 通过提供公开可用的真实房间测量数据集，弥合合成数据与真实世界声场重建之间的差距。
• 评估在模拟数据上训练的基于深度学习的幅度重建模型在真实房间中的泛化能力，特别是在低频段的表现。
• 通过采用类似U-Net的架构，将声场重建扩展至复数输入（幅度与相位），以提升重建精度。
• 展示重建声场在实际声音区域控制应用中的实用性，且麦克风数量极少。

提出的方法

• ISOBEL Sound Field Dataset 通过在四个真实矩形房间中使用15个麦克风采集，测量了距地面1米高的三维网格上的脉冲响应。
• 训练一种类似U-Net的深度神经网络，从稀疏且任意布置的麦克风测量数据中重建复数声场，学习幅度与相位响应。
• 模型首先在大规模模拟数据上进行训练，涵盖不同房间尺寸和混响时间，以实现良好的泛化能力。
• 该方法使用无量纲网格上的相对麦克风位置，推理过程中无需绝对空间坐标。
• 在声音区域控制中，利用重建的房间传输函数（RTFs）计算波束成形权重，以最大化不同区域之间的声学对比度。
• 性能通过在模拟和真实房间中计算的声学对比度比（ACR）进行评估，并与已知RTF的稀疏重建方法进行对比。

实验结果

研究问题

• RQ1 在模拟数据上训练的基于深度学习的声场重建方法是否能有效泛化到真实世界房间，特别是在低频段？
• RQ2 与仅建模幅度的方法相比，重建过程中同时建模幅度与相位对性能有何影响？
• RQ3 从极少数麦克风（如五个）进行复数声场重建，在多大程度上可实现在真实房间中的实用声音区域控制？
• RQ4 复数声场重建中，模拟数据与真实数据之间的性能差距是多少？其成因是什么？

主要发现

• ISOBEL Sound Field Dataset 已公开发布，包含四个真实房间中15个麦克风的测量数据，用于支持声场重建方法的基准测试。
• 在模拟数据上训练的基于深度学习的幅度重建方法在真实房间中150 Hz以下表现出高精度，优于使用5个和15个麦克风的稀疏重建方法。
• 将模型扩展至复数声场重建可显著提升重建保真度，实现与理想RTF相当的声学对比度比，从而实现精确的声音区域控制。
• 仅使用五个麦克风，重建声场即可达到足够精度，实现150 Hz以下可用的声学对比度比。
• 复数声场重建中，模拟数据与真实数据之间存在性能差距，表明从合成环境向真实环境迁移相位信息存在挑战。
• 该方法对麦克风位置不确定性具有鲁棒性，在真实世界评估中，即使麦克风位置扰动达±1.0米，性能仍保持稳定。