[论文解读] Dual-Path Transformer Network: Direct Context-Aware Modeling for End-to-End Monaural Speech Separation

Jingjing Chen, Qirong Mao+1 more|arXiv (Cornell University)|Jul 28, 2020

Speech and Audio Processing参考文献 32被引用 36

一句话总结

引入一个双路径 transformer 网络（DPTNet），使端到端单声道语音分离能够直接进行上下文感知建模，在 WSJ0-2mix 上达到最先进的结果，并在 LS-2mix 上表现出色。

ABSTRACT

The dominant speech separation models are based on complex recurrent or convolution neural network that model speech sequences indirectly conditioning on context, such as passing information through many intermediate states in recurrent neural network, leading to suboptimal separation performance. In this paper, we propose a dual-path transformer network (DPTNet) for end-to-end speech separation, which introduces direct context-awareness in the modeling for speech sequences. By introduces a improved transformer, elements in speech sequences can interact directly, which enables DPTNet can model for the speech sequences with direct context-awareness. The improved transformer in our approach learns the order information of the speech sequences without positional encodings by incorporating a recurrent neural network into the original transformer. In addition, the structure of dual paths makes our model efficient for extremely long speech sequence modeling. Extensive experiments on benchmark datasets show that our approach outperforms the current state-of-the-arts (20.6 dB SDR on the public WSj0-2mix data corpus).

研究动机与目标

• 通过实现直接的上下文交互来提升单声道语音分离的能力，而不是依赖间接、多阶段的上下文条件建立。
• 开发一个能够高效处理极长语音序列的端到端时域模型。
• 通过整合循环组件来学习顺序信息，而不需要位置编码的改进 transformer。
• 利用双路径结构在长序列中建模局部与全局依赖，并保持计算上的可行性。

提出的方法

• 采用基于 Conv-TasNet 的编码器–分离器–解码器框架，使用一维卷积编码器和转置卷积解码器。
• 引入包含分段、 intra-transformer（局部）和 inter-transformer（全球）块，以及重叠相加的双路径 transformer 处理阶段。
• 将 transformer 的前馈网络中的第一层全连接层替换为循环神经网络，以在不使用位置编码的情况下学习序列顺序。
• 在 intra-和 inter- transformer 中均使用多头自注意力 transformer，以实现对语音序列元素的直接上下文交互。
• 采用置换不变训练（uPIT）来最大化尺度不变的 SDR（SI-SNR）作为目标函数。

实验结果

研究问题

• RQ1 通过 transformer 的直接上下文感知建模，是否能相比传统基于 RNN/CNN 的模型提升端到端单声道语音分离的性能？
• RQ2 双路径 transformer 结构是否能够在保持分离质量的同时高效建模极长的语音序列？
• RQ3 是否可以通过在 transformer 的前馈网络中集成 RNN，在不使用位置编码的情况下学习顺序信息？
• RQ4 相较于最先进的方法，DPTNet 在标准基准数据集（WSJ0-2mix 和 LS-2mix）上的改进幅度如何？

主要发现

• DPTNet 在 WSJ0-2mix 上达到 20.2 dB SI-SNR 和 20.6 dB SDR，模型大小为 2.69M，超越了之前的最先进水平。
• 在 LS-2mix 上，DPTNet 获得 16.2 dB SI-SNR 和 16.8 dB SDR，超越基线 DSP-TasNet 和 DPRNN。
• 该模型在跨数据集显示出强大的泛化能力，始终优于包含 Conv-TasNet 和 DPRNN 的基线方法。
• 双路径设计使得长序列建模更加高效，在直接上下文交互与计算可行性之间取得平衡。