[论文解读] Autoencoder Based Architecture For Fast & Real Time Audio Style Transfer.

D. Roja Ramani, Samarjit Karmakar+3 more|arXiv (Cornell University)|Dec 18, 2018

Speech and Audio Processing参考文献 5被引用 6

一句话总结

该论文提出了一种基于自编码器的新架构，用于快速、实时的音频风格迁移，能够在单次前向传播中生成风格化音频。通过使用预训练的损失网络，基于频谱图的语音信号内容和风格损失进行训练，该方法在计算成本低的情况下实现了高质量的音频合成，相比迭代优化方法在速度和效率上表现更优，同时保持了语言内容的完整性。

ABSTRACT

Recently, there has been great interest in the field of audio style transfer, where a stylized audio is generated by imposing the style of a reference audio on the content of a target audio. We improve on the current approaches which use neural networks to extract the content and the style of the audio signal and propose a new autoencoder based architecture for the task. This network generates a stylized audio for a content audio in a single forward pass. The proposed network architecture proves to be advantageous over the quality of audio produced and the time taken to train the network. The network is experimented on speech signals to confirm the validity of our proposal.

研究动机与目标

• 解决现有音频风格迁移中迭代优化方法速度慢的局限性。
• 通过设计一个前馈网络，实现在单次前向传播中生成风格化音频，从而实现音频风格迁移的实时性。
• 相比现有基于深度学习的方法，提高训练效率并降低计算成本。
• 在迁移说话人特异性风格特征（如口音、音高、语调）的同时，保持语言内容的完整性。

提出的方法

• 该方法使用单个卷积自编码器，从语音信号的频谱图中学习内容和风格表征。
• 内容和风格特征通过预训练的损失网络提取，其中内容损失基于高层激活，风格损失基于低层特征的Gram矩阵。
• 通过最小化组合损失函数 α × MSE(内容) + β × MSE(风格)，训练转换网络将内容频谱图映射为风格化输出。
• 在训练转换网络期间，损失网络的权重被冻结，以确保特征提取的稳定性。
• 频谱图通过STFT和对数幅度缩放生成，原始音频通过Griffin-Lim算法重建。
• 使用Adam优化器，配合特定超参数（如初始学习率1e-3，β1=0.999，β2=0.99）对损失网络和转换网络进行训练。

实验结果

研究问题

• RQ1 单个前馈神经网络能否在保证高感知质量的前提下实现实时音频风格迁移？
• RQ2 将损失网络与转换网络分离，对训练稳定性和性能有何影响？
• RQ3 在迁移说话人特异性风格特征（如音高和口音）的同时，语言内容能多大程度上得以保留？
• RQ4 哪些超参数设置（如损失函数中的α和β）能在内容和风格保真度之间实现最优权衡？

主要发现

• 所提出的架构能够在单次前向传播中生成风格化音频，与迭代优化方法相比，显著降低了推理时间。
• 该模型在成功迁移关键说话人特异性风格属性（如音高、口音、语调）的同时，有效保留了输入音频的语言内容。
• 使用权重冻结的预训练损失网络，提升了训练稳定性并改善了特征表示质量。
• 该方法实现了高质量的音频合成，频谱图可视化结果表明内容结构得以保留，风格纹理成功迁移。
• 当α = 100且β = 10^4时，损失函数的平衡在多个测试语句中均取得了最优的感知效果。
• 该模型在单张GTX 1070 Ti GPU上基于VCTK语料库进行训练和评估，证明了其在标准硬件上的可行性。