[论文解读] Effective Low-Cost Time-Domain Audio Separation Using Globally Attentive Locally Recurrent Networks

Max W. Y. Lam, Jun Wang+2 more|arXiv (Cornell University)|Jan 13, 2021

Speech and Audio Processing参考文献 38被引用 9

一句话总结

本文提出全局注意力局部循环（GALR）网络，一种低成本、高效的时域语音分离架构，通过结合局部循环处理与全局自注意力机制，以建模长程依赖关系。GALR 在性能上达到最先进水平，相较于 DPRNN，运行时内存减少 36.1%，浮点运算量（FLOPs）减少 49.4%，同时在三个数据集上保持或超越其性能，包括在 WSJ0-2mix 数据集上实现 2.4 dB 的 SI-SNRi 提升。

ABSTRACT

Recent research on the time-domain audio separation networks (TasNets) has brought great success to speech separation. Nevertheless, conventional TasNets struggle to satisfy the memory and latency constraints in industrial applications. In this regard, we design a low-cost high-performance architecture, namely, globally attentive locally recurrent (GALR) network. Alike the dual-path RNN (DPRNN), we first split a feature sequence into 2D segments and then process the sequence along both the intra- and inter-segment dimensions. Our main innovation lies in that, on top of features recurrently processed along the inter-segment dimensions, GALR applies a self-attention mechanism to the sequence along the inter-segment dimension, which aggregates context-aware information and also enables parallelization. Our experiments suggest that GALR is a notably more effective network than the prior work. On one hand, with only 1.5M parameters, it has achieved comparable separation performance at a much lower cost with 36.1% less runtime memory and 49.4% fewer computational operations, relative to the DPRNN. On the other hand, in a comparable model size with DPRNN, GALR has consistently outperformed DPRNN in three datasets, in particular, with a substantial margin of 2.4dB absolute improvement of SI-SNRi in the benchmark WSJ0-2mix task.

研究动机与目标

• 解决现有时域语音分离模型在工业应用中高内存与高延迟的问题。
• 通过结合 RNN 与自注意力机制的优势，改进 TasNets 对长序列的建模能力。
• 设计一种紧凑高效的架构，在降低计算与内存开销的同时保持高性能分离效果。
• 验证自注意力机制在建模音频序列中全局长程依赖关系方面优于 RNN 的有效性。
• 在多样化数据集上展示一致的性能提升，包括语音-语音与语音-音乐分离任务。

提出的方法

• GALR 架构将输入波形分割为二维片段，沿片段内维度应用局部循环，以建模短期依赖关系。
• 沿片段间维度使用循环网络，以捕捉跨片段的序列上下文。
• 在片段间序列上应用自注意力机制，以并行方式聚合上下文感知的长程依赖关系。
• 模型采用置换不变训练（PIT）方法，直接在原始波形上优化时域损失。
• 该架构设计为参数高效，相比先前模型（如 DPRNN）具有更低的浮点运算量与内存占用。
• 该方法在保持局部循环的同时实现全局注意力的并行化，平衡了建模能力与效率。

Fig. 1 : Upper: a 4s raw waveform mixture of two overlapping utterances; Lower: zooming in on the 385th segment around the lateral phoneme of /l/.

实验结果

研究问题

• RQ1 自注意力能否有效应用于长时域音频序列的语音分离任务中，以克服标准注意力机制的二次方复杂度？
• RQ2 将局部循环与全局注意力结合，是否能相比仅使用 RNN 的方法更有效地建模长程依赖关系？
• RQ3 能否通过紧凑模型实现显著减少的浮点运算量与内存使用，同时超越 SOTA 基线（如 DPRNN）的性能？
• RQ4 所提出的架构在多样化分离任务（包括语音-语音与语音-音乐混合）中的表现如何？
• RQ5 注意力机制是否在捕捉音频信号中远距离上下文信息方面优于 RNN？

主要发现

• 尽管参数量更少，GALR 在 WSJ0-2mix 数据集上相比 DPRNN 实现了 2.4 dB 的 SI-SNRi 绝对提升。
• 仅使用 150 万个参数，GALR 相比 DPRNN 实现了 49.4% 的浮点运算量减少与 36.1% 的运行时内存减少，同时保持了相当的性能。
• 在更大的 Libri-2mix 数据集上，GALR 以更小的模型尺寸（230 万个参数 vs. 260 万个参数），实现了 0.2 dB 更高的 SI-SNRi 与 SDRi。
• 在语音-音乐混合分离任务中，GALR 在 SI-SNRi 与 SDRi 上分别比 DPRNN 提升 1.4 dB，展现出在复杂场景下的更强鲁棒性。
• GALR 在所有三个数据集上均持续优于 DPRNN，证实了全局注意力在长序列建模中的有效性。
• 结果表明，自注意力机制在建模音频序列中全局上下文方面优于 RNN，尤其在远距离依赖关系至关重要的场景中。

Fig. 2 : Left: the overall architecture of our GALR network. Right: detailed illustration about how the intra- and inter-segment sequences are processed in the locally recurrent layer (lower right) and the globally attentive layer (upper right) inside each GALR block, respectively.