[论文解读] Learning Disentangled Representations of Timbre and Pitch for Musical Instrument Sounds Using Gaussian Mixture Variational Autoencoders

Yin-Jyun Luo, Kat Agres+1 more|arXiv (Cornell University)|Jun 19, 2019

Music and Audio Processing被引用 28

一句话总结

本文提出了一种高斯混合变分自编码器（GMVAE）框架，通过为音高和音色分别使用独立编码器，实现了对乐器声音中音高与音色的解耦。通过从音高和音色各自对应的高斯混合分量中独立采样，并将采样结果拼接后输入解码器，该模型实现了可控合成与多对多音色迁移，且在合成音频上进行的乐器分类器测试中，F-score最高达到0.958。

ABSTRACT

In this paper, we learn disentangled representations of timbre and pitch for musical instrument sounds. We adapt a framework based on variational autoencoders with Gaussian mixture latent distributions. Specifically, we use two separate encoders to learn distinct latent spaces for timbre and pitch, which form Gaussian mixture components representing instrument identity and pitch, respectively. For reconstruction, latent variables of timbre and pitch are sampled from corresponding mixture components, and are concatenated as the input to a decoder. We show the model efficacy by latent space visualization, and a quantitative analysis indicates the discriminability of these spaces, even with a limited number of instrument labels for training. The model allows for controllable synthesis of selected instrument sounds by sampling from the latent spaces. To evaluate this, we trained instrument and pitch classifiers using original labeled data. These classifiers achieve high accuracy when tested on our synthesized sounds, which verifies the model performance of controllable realistic timbre and pitch synthesis. Our model also enables timbre transfer between multiple instruments, with a single autoencoder architecture, which is evaluated by measuring the shift in posterior of instrument classification. Our in depth evaluation confirms the model ability to successfully disentangle timbre and pitch.

研究动机与目标

• 学习音乐乐器声音中音色与音高的解耦表征，以实现可控音频合成。
• 解决音乐生成中缺乏解耦音频表征的问题，特别是针对真实乐器录音。
• 在无需为每种乐器训练专属解码器或使用类别条件的情况下，实现多对多音色迁移。
• 通过潜在空间可视化、分类器F-score以及频谱质心分析来评估解耦程度。
• 探索模型在生成逼真、可控乐器声音方面的泛化能力与可解释性。

提出的方法

• 该模型使用两个独立编码器，分别学习音高与音色的潜在空间，每个潜在空间均形成一个高斯混合分量。
• 音高与音色的潜在变量分别从其对应的混合分量中独立采样，并拼接后作为共享解码器的输入。
• 该框架采用具有对角协方差高斯先验的GMVAE，以促进潜在维度间的解耦。
• 共享解码器从拼接后的音高与音色潜在变量中重建音频频谱图。
• 乐器与音高分类器在原始数据与合成数据上端到端训练，以评估解耦与可控性。
• 通过修改特定潜在维度并测量频谱质心值的变化，评估频谱质心的解耦程度。

实验结果

研究问题

• RQ1 基于GMVAE的框架能否成功解耦真实音乐乐器录音中的音高与音色？
• RQ2 该模型在通过操控解耦的潜在因子时，能在多大程度上实现乐器声音的可控合成？
• RQ3 该模型能否在无需每种乐器专属解码器或类别条件的情况下，实现多对多音色迁移？
• RQ4 所学习的表征在处理超出范围的音高或未见过的乐器组合时，泛化能力如何？
• RQ5 哪些潜在维度对应于特定的声学特征（如频谱质心）？

主要发现

• 当在合成音频上测试时，该模型在乐器分类任务中取得了高达0.958的F-score，证实了解耦的有效性与合成的真实性。
• 在大多数源-目标音色迁移对中，音高分类的F-score保持完美，表明音高在迁移过程中得以保留。
• 在钢琴→竖琴与钢琴→巴松管的迁移中，F-score分别下降至0.750与0.791，归因于音域不匹配及模型泛化能力的限制。
• 在音色的第13个潜在维度与频谱质心之间发现显著相关性，双尾t检验的p值小于0.05。
• 潜在维度遍历结果显示，增加z¹³ₜ会降低高频能量并减小频谱质心，证实了该声学特征的解耦。
• 该模型成功实现了跨多种乐器的音色迁移（如钢琴→竖琴、法国号→巴松管），后验分布偏移在α = 0.5时达到峰值，表明实现了有效控制。