[论文解读] FaSNet: Low-latency Adaptive Beamforming for Multi-microphone Audio Processing

Yi Luo, Enea Ceolini+3 more|Zurich Open Repository and Archive (University of Zurich)|Sep 29, 2019

Speech and Audio Processing参考文献 40被引用 30

一句话总结

FaSNet 是一种低延迟、时域、滤波-求和波束成形网络，采用两阶段时间卷积网络（TCN）从通道间特征（如归一化互相关，NCC）中学习自适应波束成形滤波器。它在混响和噪声环境下实现了最先进性能，优于传统最优波束成形器，并在使用频域目标函数训练时，使 CHiME-3 数据集的词错误率降低了 14.3%。

ABSTRACT

Beamforming has been extensively investigated for multi-channel audio processing tasks. Recently, learning-based beamforming methods, sometimes called extit{neural beamformers}, have achieved significant improvements in both signal quality (e.g. signal-to-noise ratio (SNR)) and speech recognition (e.g. word error rate (WER)). Such systems are generally non-causal and require a large context for robust estimation of inter-channel features, which is impractical in applications requiring low-latency responses. In this paper, we propose filter-and-sum network (FaSNet), a time-domain, filter-based beamforming approach suitable for low-latency scenarios. FaSNet has a two-stage system design that first learns frame-level time-domain adaptive beamforming filters for a selected reference channel, and then calculate the filters for all remaining channels. The filtered outputs at all channels are summed to generate the final output. Experiments show that despite its small model size, FaSNet is able to outperform several traditional oracle beamformers with respect to scale-invariant signal-to-noise ratio (SI-SNR) in reverberant speech enhancement and separation tasks. Moreover, when trained with a frequency-domain objective function on the CHiME-3 dataset, FaSNet achieves 14.3\% relative word error rate reduction (RWERR) compared with the baseline model. These results show the efficacy of FaSNet particularly in reverberant and noisy signal conditions.

研究动机与目标

• 为解决现有基于学习的波束成形器（尤其是频域方法）在实时低延迟音频处理应用中的高延迟问题。
• 设计一种时域因果波束成形系统，使其在混响和噪声环境中保持高性能。
• 通过支持信号级和 ASR 级训练目标，实现与自动语音识别（ASR）后端的端到端集成。
• 证明紧凑的自适应滤波-求和架构可在具有挑战性的声学条件下超越传统非因果波束成形器。

提出的方法

• FaSNet 采用两阶段架构：第一阶段使用时间卷积网络（TCN）在归一化互相关（NCC）特征上估计参考麦克风的时域波束成形滤波器。
• 第二阶段利用清洁后的参考信号，估计所有其他麦克风的滤波器，从而实现全阵列波束成形。
• 通道间特征源自通道间互相关之间的余弦相似性，为滤波器估计提供鲁棒的空间线索。
• 基于 TCN 的滤波器估计器可使用信号级目标函数（如 SI-SNR）或 ASR 级目标函数（如梅尔频谱图损失）进行训练，以实现灵活性。
• 该系统设计为因果且低延迟，适用于在线音频处理中的实时部署。
• 所有麦克风的滤波器输出被求和，生成单通道波束成形输出，遵循经典的滤波-求和（FaS）波束成形范式。

实验结果

研究问题

• RQ1 时域因果波束成形网络是否能在混响和噪声环境中实现与非因果传统波束成形器相当或更优的性能？
• RQ2 具有自适应 TCN 滤波器的两阶段滤波-求和架构是否在低延迟场景下优于固定波束成形或基于掩码的方法？
• RQ3 当 FaSNet 作为前端与端到端训练结合时，其在多大程度上能提升自动语音识别（ASR）性能？
• RQ4 FaSNet 中的波束成形滤波器在不同语音和非语音内容段落中的自适应能力如何？

主要发现

• 在回声噪声语音增强（ESE）和回声噪声语音分离（ESS）任务中，FaSNet 在尺度不变信噪比（SI-SNR）方面优于多种传统最优波束成形器。
• 在 CHiME-3 数据集上，当使用清洁信号的梅尔频谱图和 SI-MSE 损失进行训练时，FaSNet 实现了 14.3% 的相对词错误率降低（RWERR），优于基线模型。
• 当使用混响清洁信号和 SI-SNR 目标函数进行训练时，FaSNet 实现了 12.2 dB 的 SI-SNR 提升，显著优于 Conv-TasNet 基线模型（8.7 dB）。
• 可视化结果表明，FaSNet 学习到了与内容相关的波束图，非语音区域形成深度零点，语音区域则呈现方向自适应响应。
• FaSNet 以极小的模型尺寸保持了高性能，展现出高效性，适用于低延迟实时应用。
• 该系统具有高度灵活性，可与任何单通道语音增强或 ASR 系统结合，支持模块化集成。