[论文解读] CycleGAN-based Non-parallel Speech Enhancement with an Adaptive Attention-in-attention Mechanism

Guochen Yu, Yutian Wang+3 more|arXiv (Cornell University)|Jul 28, 2021

Speech and Audio Processing参考文献 40被引用 16

一句话总结

本文提出AIA-CycleGAN，一种基于CycleGAN的新型语音增强框架，引入自适应注意力机制（AIA）以解决非配对训练的挑战。通过整合自适应时频注意力（ATFA）与自适应分层注意力（AHA），模型增强了特征表示与映射能力，在非配对与配对训练设置下均实现了最先进性能，PESQ、STOI与CSIG指标显著优于先前的生成对抗网络（GAN）与非GAN方法。

ABSTRACT

Non-parallel training is a difficult but essential task for DNN-based speech enhancement methods, for the lack of adequate noisy and paired clean speech corpus in many real scenarios. In this paper, we propose a novel adaptive attention-in-attention CycleGAN (AIA-CycleGAN) for non-parallel speech enhancement. In previous CycleGAN-based non-parallel speech enhancement methods, the limited mapping ability of the generator may cause performance degradation and insufficient feature learning. To alleviate this degradation, we propose an integration of adaptive time-frequency attention (ATFA) and adaptive hierarchical attention (AHA) to form an attention-in-attention (AIA) module for more flexible feature learning during the mapping procedure. More specifically, ATFA can capture the long-range temporal-spectral contextual information for more effective feature representations, while AHA can flexibly aggregate different AFTA's intermediate output feature maps by adaptive attention weights depending on the global context. Numerous experimental results demonstrate that the proposed approach achieves consistently more superior performance over previous GAN-based and CycleGAN-based methods in non-parallel training. Moreover, experiments in parallel training verify that the proposed AIA-CycleGAN also outperforms most advanced GAN-based and Non-GAN based speech enhancement approaches, especially in maintaining speech integrity and reducing speech distortion.

研究动机与目标

• 解决在缺乏或难以收集配对干净-噪声语音数据集情况下的非配对语音增强挑战。
• 克服标准CycleGAN生成器在非配对训练中映射能力有限的问题，从而提升性能。
• 通过捕捉时频域中的长程时频依赖与分层上下文依赖，增强特征学习能力。
• 通过将自适应注意力机制集成到生成器架构中，提升语音保真度并减少失真。
• 在非配对与配对训练场景下验证所提AIA-CycleGAN的有效性。

提出的方法

• 该框架采用两个生成器（$G_{X\rightarrow Y}$ 和 $F_{Y\rightarrow X}$）与两个判别器（$D_X$ 和 $D_Y$），通过相对对抗损失、循环一致性损失与身份损失进行训练。
• 核心创新在于注意力机制中的注意力（AIA）模块，结合了用于捕捉长程时频上下文的自适应时频注意力（ATFA）与用于动态特征图聚合的自适应分层注意力（AHA）。
• ATFA通过学习局部与全局谱-时序模式上的注意力权重，捕捉时频表示中的长程依赖关系。
• AHA利用上下文感知的注意力权重，自适应地融合ATFA生成的中间特征图，实现灵活且动态的特征融合。
• 采用多尺度判别器，以强化增强语音中的细粒度细节学习。
• 使用功率压缩的幅度谱图（压缩系数为0.5）作为输入特征，以更有效地抑制背景噪声。

实验结果

研究问题

• RQ1 基于AIA机制的CycleGAN框架是否能在非配对训练中超越现有GAN与非GAN方法？
• RQ2 自适应时频注意力（ATFA）与自适应分层注意力（AHA）的集成如何提升非配对语音增强中的特征表示与映射能力？
• RQ3 与基线模型相比，AIA-CycleGAN在多大程度上保持了语音完整性并减少了失真？
• RQ4 所提方法在非配对与配对训练范式下是否均保持强性能？
• RQ5 使用功率压缩谱图在模型的噪声抑制与语音质量方面产生了何种影响？

主要发现

• 在非配对训练中，AIA-CycleGAN实现PESQ为2.67，STOI为0.932，CSIG为3.86，显著优于CycleGAN（PESQ：2.56，STOI：0.927，CSIG：3.78）。
• 在配对训练中，AIA-CycleGAN实现PESQ为2.74，STOI为0.936，CSIG为3.96，全面超越所有对比的GAN与非GAN方法。
• 与SEGAN相比，AIA-CycleGAN将PESQ提升0.58，CSIG提升0.48，COVL提升0.49，表明语音质量更优且失真更少。
• 与SEGAN相比，AIA-CycleGAN将CBAK降低0.31，表明语音可懂性与自然性得到更好保留。
• 视觉分析表明，AIA-CycleGAN在高能量噪声区域对残留噪声的抑制效果优于CycleGAN。
• 该模型在保持STOI与CBAK竞争力的同时，显著提升了PESQ与CSIG，表明在语音质量与可懂性之间实现了良好平衡。