[论文解读] FCN Approach for Dynamically Locating Multiple Speakers

Hodaya Hammer, Shlomo E. Chazan+2 more|arXiv (Cornell University)|Aug 26, 2020

Speech and Audio Processing参考文献 27被引用 4

一句话总结

该论文提出了一种基于全卷积网络（FCN）的方法，用于在高分辨率、实时条件下对多个说话人进行波达方向（DOA）定位。通过利用瞬时空间特征并应用W-分离正交性原理，该模型在静态和动态场景下均实现了卓越的精度和稳定的跟踪性能，在模拟和真实混响环境中的表现优于最先进方法，最高可达720毫秒的RT60。

ABSTRACT

In this paper, we present a deep neural network-based online multi-speaker localisation algorithm. Following the W-disjoint orthogonality principle in the spectral domain, each time-frequency (TF) bin is dominated by a single speaker, and hence by a single direction of arrival (DOA). A fully convolutional network is trained with instantaneous spatial features to estimate the DOA for each TF bin. The high resolution classification enables the network to accurately and simultaneously localize and track multiple speakers, both static and dynamic. Elaborated experimental study using both simulated and real-life recordings in static and dynamic scenarios, confirms that the proposed algorithm outperforms both classic and recent deep-learning-based algorithms.

研究动机与目标

• 解决在高度混响声学环境中对多个移动说话人进行精确、实时定位的挑战。
• 克服基于帧的DOA估计方法在时间分辨率和跟踪能力方面的局限性。
• 利用W-分离正交性特性（即每个时间-频率bin主要由单一说话人主导），以实现高分辨率DOA估计。
• 开发一种数据驱动的深度学习模型，对不同混响和噪声条件具有鲁棒性，并能泛化至训练环境之外。
• 建立一个公开可用的基准数据集，用于多说话人DOA估计，包含模拟和真实录音。

提出的方法

• 训练一个全卷积网络（FCN），利用从麦克风信号中提取的瞬时空间特征，为每个时间-频率（TF）bin预测DOA。
• 空间特征通过频域中相对传输函数（RTF）的实部和虚部计算得到。
• 采用TF分辨率监督进行训练，基于W-分离正交性原理，为每个TF bin分配单一DOA标签。
• 网络架构支持端到端、在线推理，具备高时间分辨率，可同时实现多说话人的定位与跟踪。
• 训练数据通过公开数据集中的真实房间脉冲响应（RIRs）合成，模拟多样化的声学条件和说话人动态。
• 在使用测量RIRs的模拟数据和受控环境中真实录音的测试中评估该方法，其真值由三维跟踪系统提供。

实验结果

研究问题

• RQ1 在高度混响环境中，与基于帧的方法相比，是否能在时间-频率bin级别训练的深度学习模型可实现更优的DOA估计精度？
• RQ2 高分辨率TF监督是否能实现对多个移动说话人的准确且稳定的跟踪，即使在强混响条件下？
• RQ3 在不同RT60条件下，所提出的基于FCN的方法与经典方法（如MUSIC、SRP-PHAT）以及近期深度学习基线方法（如CMS-DOA）相比，在MAE和精度方面表现如何？
• RQ4 不同空间特征表示方式（如RTF实部/虚部与相位余弦/正弦）对模型性能有何影响？
• RQ5 在训练阶段具备足够数据多样性的情况下，模型是否能在无需微调的前提下泛化至未见过的房间和混响条件？

主要发现

• 所提出的TF-DOAnet在RT60 = 390毫秒的模拟房间中实现了仅0.3°的平均绝对误差（MAE），而CMS-DOA基线为13.1°。
• 在高混响房间（RT60 = 720毫秒）中，TF-DOAnet的准确率达到94.3%，显著优于CMS-DOA（38.1%）和经典方法（如MUSIC为16.9%）。
• 在真实录音中，距离1米处RT60 = 0.61秒时，TF-DOAnet准确率达到98.3%，而CMS-DOA为71.9%。
• 消融实验表明，所提出的基于RTF的特征（实部/虚部）优于余弦-正弦特征，且添加谱特征反而轻微降低了性能。
• 即使在高混响条件下，模型仍能生成平滑、无噪声的DOA轨迹，而CMS-DOA的输出则呈现明显波动。
• 该方法在多种声学条件下表现出鲁棒性，包括静态和动态说话人场景，在所有测试条件下均保持一致的高性能。