[论文解读] AGAIN-VC: A One-shot Voice Conversion using Activation Guidance and Adaptive Instance Normalization

Yen-Hao Chen, Da-Yi Wu+2 more|arXiv (Cornell University)|Oct 31, 2020

Speech Recognition and Synthesis参考文献 25被引用 4

一句话总结

AGAIN-VC 提出了一种使用单编码器、激活引导和自适应实例归一化的一次性语音转换系统，以解耦说话人和内容表征。通过在内容嵌入上应用可学习的 Sigmoid 激活函数作为软信息瓶颈，该方法在客观和主观评估中均实现了最先进性能，优于使用双编码器的模型，同时将模型大小减少了 30%。

ABSTRACT

Recently, voice conversion (VC) has been widely studied. Many VC systems use disentangle-based learning techniques to separate the speaker and the linguistic content information from a speech signal. Subsequently, they convert the voice by changing the speaker information to that of the target speaker. To prevent the speaker information from leaking into the content embeddings, previous works either reduce the dimension or quantize the content embedding as a strong information bottleneck. These mechanisms somehow hurt the synthesis quality. In this work, we propose AGAIN-VC, an innovative VC system using Activation Guidance and Adaptive Instance Normalization. AGAIN-VC is an auto-encoder-based model, comprising of a single encoder and a decoder. With a proper activation as an information bottleneck on content embeddings, the trade-off between the synthesis quality and the speaker similarity of the converted speech is improved drastically. This one-shot VC system obtains the best performance regardless of the subjective or objective evaluations.

研究动机与目标

• 解决一次性语音转换中语音合成质量与说话人-内容解耦之间的权衡问题。
• 通过重用实例归一化层中的通道统计信息，消除对独立说话人编码器的需求。
• 引入激活引导作为软性、可学习的信息瓶颈，防止说话人信息泄露到内容嵌入中。
• 通过统一的单编码器架构提升模型效率与性能。
• 在客观指标和主观人类评估中均实现最先进结果。

提出的方法

• 单编码器利用实例归一化（IN）层同时提取内容和说话人表征，其中通道均值 μ 和标准差 σ 作为说话人嵌入。
• 自适应实例归一化（AdaIN）在解码过程中将目标嵌入的说话人风格迁移至内容特征。
• 激活引导在内容嵌入上应用可学习的 Sigmoid 函数（超参数 α），作为连续的、软性信息瓶颈，以抑制与说话人相关的信息。
• 模型通过重建损失进行训练：ℒ = ||X − X̂||₁，最小化输入与输出梅尔频谱图之间的差异。
• 激活函数在训练过程中被优化，发现 α = 0.1 时在解耦与重建之间达到最佳平衡。
• 该架构避免使用独立的说话人与内容编码器，从而在保持或提升性能的同时减少模型大小。

实验结果

研究问题

• RQ1 单编码器能否在一次性语音转换中有效解耦说话人与内容表征？
• RQ2 使用可学习 Sigmoid 函数的激活引导是否能在不降低语音合成质量的前提下提升解耦效果？
• RQ3 与双编码器基线模型（如 AdaIN-VC）相比，所提方法在性能与模型效率方面表现如何？
• RQ4 激活引导函数中超参数 α 的最优值是什么，以在说话人相似性与内容保真度之间实现最佳平衡？
• RQ5 所提方法是否在客观指标与主观人类评估中均取得更优结果？

主要发现

• 所提出的 1-Enc-sig 模型在所有配置中实现了最低的重建误差（0.151），优于 1-Enc 和 2-Enc 基线模型。
• 在激活引导下，内容嵌入的说话人分类准确率降至 1.7%，表明说话人信息实现了近乎完美的解耦。
• 在说话人嵌入上，模型实现了 93.2% 的说话人分类准确率，证实了有效的说话人表征学习。
• 主观评估显示，所提模型在自然度（MOS）和说话人相似度方面得分最高，显著优于 1-Enc 和 2-Enc 基线模型。
• 与双编码器版本（13.5M 参数）相比，单编码器模型将模型大小减少了 30%（降至 9.5M 参数），且未牺牲性能。
• 发现 α = 0.1 的 Sigmoid 函数为最优选择，能在信息过滤与内容保留之间实现良好平衡，优于 ReLU、ELU 和 Tanh。