[论文解读] Autoencoders for music sound synthesis: a comparison of linear, shallow, deep and variational models.

Fanny Roche, Thomas Hueber+2 more|arXiv (Cornell University)|Jun 11, 2018

Music and Audio Processing参考文献 13被引用 8

一句话总结

本文比较了线性（PCA）、浅层自编码器（AE）、深度自编码器（DAE）和变分自编码器（VAE）在NSynth数据集上对音乐音色频谱的压缩与重合成效果。研究发现，尽管PCA在重建性能上优于浅层AE，但只有深度架构（DAE）能实现更低的重建误差；而VAE虽具有更高的正则化程度，仍优于PCA，且其潜在表征更具解耦性。

ABSTRACT

This study investigates the use of non-linear unsupervised dimensionality reduction techniques to compress a music dataset into a low-dimensional representation, and its use for the synthesis of new sounds. We systematically compare (shallow) autoencoders (AE) and deep autoencoders (DAE) with principal component analysis (PCA) for representing the high-resolution short-term amplitude spectrum of a large and dense dataset of music notes into a lower-dimensional vector (and then convert it back to a synthetic amplitude spectrum used for sound resynthesis). In addition, we report results obtained with variational autoencoders (VAE) which to our knowledge have never been considered for processing musical sounds. Our experiments were conducted on the publicly available multi-instrument and multi-pitch database NSynth. Interestingly and contrary to the recent literature on image processing, they showed that PCA systematically outperforms shallow AE and that only a deep architecture (DAE) can lead to a lower reconstruction error. The optimization criterion in deep VAE being the sum of the reconstruction error and a regularization term, it naturally leads to a lower reconstruction accuracy than DAE but we show that VAEs are still able to outperform PCA while providing a low-dimensional latent space with nice usability properties.

研究动机与目标

• 评估非线性无监督降维技术在音乐音色表征与合成中的应用。
• 比较PCA、浅层AE、深度AE和VAE在重建高分辨率音乐音符振幅谱方面的性能。
• 探究变分自编码器——此前在音乐音色处理中未被探索——是否能在潜在空间质量与合成可用性方面带来优势。
• 确定在音乐合成中，不同自编码器变体的重建准确率与潜在空间结构之间的权衡关系。

提出的方法

• 本研究使用NSynth数据集，聚焦于多乐器、多音高音乐音符的短时振幅谱。
• 主成分分析（PCA）被用作降维与重建的线性基线方法。
• 训练浅层与深层自编码器（AE与DAE），将振幅谱压缩至低维潜在空间并实现重建。
• 采用重参数化技巧与KL散度正则化项，实现变分自编码器（VAE），以促进潜在表征的解耦与平滑性。
• 通过原始与重建振幅谱之间的均方误差（MSE）评估重建质量。
• 通过分析VAE中插值与生成能力的定性评估，判断潜在空间的可用性。

实验结果

研究问题

• RQ1 深度自编码（DAE）在音乐频谱数据上的重建误差是否低于浅层自编码（AE）和PCA？
• RQ2 尽管存在正则化导致的重建偏差，变分自编码器（VAE）是否仍能生成高质量的合成音色？
• RQ3 VAE在音乐音色合成中潜在空间的解耦性与可用性，相较于PCA和AE如何？
• RQ4 为何PCA在重建性能上优于浅层AE，尽管AE是非线性方法？
• RQ5 在音乐音色建模中，不同自编码器变体在重建准确率与潜在空间结构之间的权衡关系是什么？

主要发现

• PCA在NSynth数据集上的重建误差始终低于浅层自编码器（AE）。
• 只有深度自编码器（DAE）的重建误差低于PCA，表明深层架构对最优频谱重建是必要的。
• 尽管存在正则化项通常会降低重建准确率，VAE的重建误差仍低于PCA。
• VAE生成了解耦且平滑的潜在空间，支持有意义的插值与音色生成，显著提升了合成任务的可用性。
• 研究结果与近期图像处理领域的趋势相悖，后者通常认为非线性方法优于线性方法，表明PCA在音乐频谱数据上依然极为有效。
• 本研究证明VAE是音乐音色合成中DAE的可行替代方案，能够在重建质量与潜在空间结构之间取得良好平衡。