[论文解读] Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks

Paul Callens, Miloš Cerňak|arXiv (Cornell University)|Oct 21, 2020

Speech and Audio Processing被引用 5

一句话总结

本文提出一种基于卷积循环神经网络（CRNNs）的联合盲估计方法，用于从语音和音乐信号中估计房间声学参数——RT60、C50、C80 和 DRR。该方法实现了最先进性能，其中 CRNN 在各项指标上均优于基线模型，且在语音和音乐信号上联合训练虽面临音乐信号衰减曲线检测的固有挑战，但仍显著提升了语音参数估计的准确性。

ABSTRACT

Acoustic environment characterization opens doors for sound reproduction innovations, smart EQing, speech enhancement, hearing aids, and forensics. Reverberation time, clarity, and direct-to-reverberant ratio are acoustic parameters that have been defined to describe reverberant environments. They are closely related to speech intelligibility and sound quality. As explained in the ISO3382 standard, they can be derived from a room measurement called the Room Impulse Response (RIR). However, measuring RIRs requires specific equipment and intrusive sound to be played. The recent audio combined with machine learning suggests that one could estimate those parameters blindly using speech or music signals. We follow these advances and propose a robust end-to-end method to achieve blind joint acoustic parameter estimation using speech and/or music signals. Our results indicate that convolutional recurrent neural networks perform best for this task, and including music in training also helps improve inference from speech.

研究动机与目标

• 实现端到端、无需专用脉冲响应测量的房间声学关键参数盲估计。
• 探究音乐信号是否能提升声学参数估计的鲁棒性与准确性，尤其是针对语音信号。
• 设计并评估利用信号频谱与时序特征的 CRNN 架构，以提升性能。
• 评估训练数据构成（仅语音 vs. 混合语音/音乐）对模型泛化能力与推理准确率的影响。

提出的方法

• 该方法采用 CRNN 架构，结合卷积层提取频谱特征，循环层建模混响信号中的时间衰减动态特性。
• 音频输入被预处理为 8 秒段，并转换为对数梅尔倒谱图作为模型输入。
• 通过 ISO 3382 标准计算真实声学参数（RT60、C50、C80、DRR），在 125 Hz 至 4 kHz 的倍频程频带范围内应用带通滤波。
• 模型以端到端方式训练，使用平均绝对误差损失函数同时预测四个声学参数。
• 数据增强包括模拟混响与噪声，以提升鲁棒性；RT60 > 4 秒的 RIR 被舍弃，因其噪声污染严重。
• 评估了三种模型：一个全连接网络基线模型，以及两个 CRNN 变体（CRNN1 和 CRNN2），通过大量实验调优超参数。

实验结果

研究问题

• RQ1 卷积循环神经网络是否在盲房间声学参数估计任务中优于传统模型或纯卷积模型？
• RQ2 在训练数据中引入音乐信号是否能提升语音信号声学参数估计的准确性？
• RQ3 模型在不同信号类型（语音、音乐、混合）及噪声条件下的性能表现如何？
• RQ4 为何音乐在声学参数估计中效果不如语音？其背后的信号特性如何影响模型性能？

主要发现

• CRNN1 模型在语音信号上的 RT60 估计中实现了 55 ms 的平均绝对误差（εM），优于基线模型（65 ms），相对误差（εR）为 0.4 dB。
• 在清晰度参数方面，CRNN1 将 C50 的 εM 从 41 降低至 42，εR 从 6.7 降低至 6.5，表明性能持续优于基线。
• 在语音与音乐混合数据上联合训练可提升语音估计性能：音频训练模型在语音上的 RT60 估计 εM 达 50 ms，优于仅语音训练模型（55 ms）。
• 仅音乐信号的估计误差较高（如 RT60 的 εM 达 152 ms），表明音乐因持续音符及制作中固有的混响特性，不适宜用于参数估计。
• 模型对噪声具有鲁棒性，RT60 的 εM 在信噪比（SNR）为 15、10、5 和 0 dB 时分别为 50、49、49 和 51 ms。
• 尽管 RIR 测量存在差异，模型仍保持一致性能，表明其对真实声学参数中固有的不确定性具有鲁棒性。