[论文解读] Auxiliary Function-Based Algorithm for Blind Extraction of a Moving Speaker

Jakub Janský, Zbyněk Koldovský+3 more|arXiv (Cornell University)|Feb 28, 2020

Blind Source Separation Techniques被引用 4

一句话总结

本文提出了一种新型盲源分离算法 Block AuxIVE，基于恒定分离向量（CSV）模型，用于在混响和噪声环境中追踪移动说话人。通过基于辅助函数的优化方法，该方法实现了更快的收敛速度和更强的鲁棒性，无需在线跟踪，其性能在真实环境和 CHiME-4 基准测试条件下优于静态模型。

ABSTRACT

Recently, Constant Separating Vector (CSV) mixing model has been proposed for the Blind Source Extraction (BSE) of moving sources. In this paper, we experimentally verify the applicability of CSV in the blind extraction of a moving speaker and propose a new BSE method derived by modifying the auxiliary function-based algorithm for Independent Vector Analysis. Also, a piloted variant is proposed for the method with partially controllable global convergence. The methods are verified under reverberant and noisy conditions using {\color{red} simulated as well as real-world acoustic conditions}. They are also verified within the CHiME-4 speech separation and recognition challenge. The experiments corroborate the applicability of CSV as well as the improved convergence of the proposed algorithms.

研究动机与目标

• 解决多麦克风声学环境中源位置随时间变化时盲提取移动说话人的挑战。
• 克服因在不同静态混合模型间切换导致的在线 BSE 中断问题。
• 开发一种 BSE 方法，可在源移动过程中保持目标源的一致性提取，无需显式源跟踪。
• 与基于梯度的 BSE 方法相比，提升收敛速度和全局收敛稳定性，特别是在过定麦克风阵列中。
• 通过模拟和真实数据验证该方法在高度混响和噪声环境下的鲁棒性，包括 CHiME-4 挑战数据集。

提出的方法

• 采用恒定分离向量（CSV）混合模型，假设单一时不变分离滤波器可覆盖目标源在整个移动路径上的提取。
• 提出 Block AuxIVE，一种基于辅助函数优化的分块 BSE 算法，收敛速度优于基于梯度的对应方法。
• 在 STFT 域中将卷积混合信号建模为频带内瞬时混合，实现跨频带的高效联合处理。
• 应用辅助函数方法推导出固定点更新规则，确保目标函数单调收敛。
• 引入半监督变体，利用导频信号——部分预提取的目标源与残留噪声——以稳定全局收敛。
• 使用相对传输函数（RTF）估计进行初始化，并在对比系统中应用盲分析归一化（BAN）作为后滤波器。

实验结果

研究问题

• RQ1 CSV 模型是否能在无需显式源跟踪的情况下有效提取移动说话人？其在动态环境中的表现与静态混合模型相比如何？
• RQ2 所提出的基于辅助函数的算法（Block AuxIVE）是否在收敛速度和全局收敛性方面优于基于梯度的 BSE 方法？
• RQ3 Block AuxIVE 算法在真实环境和模拟声学条件下对混响、噪声及初始化不完善情况的鲁棒性如何？
• RQ4 带有导频信号的半监督变体是否能在导频包含显著残留噪声和干扰时仍确保稳定的全局收敛？
• RQ5 Block AuxIVE 在真实世界基准测试（如 CHiME-4 挑战）中的表现如何，特别是在移动说话人场景下？

主要发现

• Block AuxIVE 平均仅需 7 次迭代即可收敛，将完整 CHiME-4 数据集的总处理时间从 10 小时 30 分钟（BOGIVE w）减少至 1 小时 2 分钟。
• 该方法在真实测试集上的词错误率（WER）为 6.44%，在模拟测试集上为 6.46%，在某些条件下优于 OverIVA（10.43% 和 6.82%）与 GEV（8.10% 和 5.99%）。
• Block AuxIVE 在说话人移动过程中成功恢复语音，而 OverIVA 因固定波束成形导致失败，如图 5 所示，当说话人移动时语音消失。
• 带有导频信号的半监督变体即使在导频包含显著残留噪声和干扰时，也能实现稳定的全局收敛。
• 基于 CSV 的方法可在源移动过程中保持一致的提取性能，避免了逐帧应用静态模型所固有的不连续性问题。
• 所提方法在无需任何训练数据的情况下，性能可与训练过的 GEV 波束成形器相媲美，展现出在盲设置下的强大泛化能力。