[论文解读] MTCRNN: A multi-scale RNN for directed audio texture synthesis

Muhammad Huzaifah, Lonce Wyse|arXiv (Cornell University)|Nov 25, 2020

Music and Audio Processing参考文献 11被引用 6

一句话总结

MTCRNN 提出了一种多尺度循环神经网络，通过将分层 RNN 层次结构与可解释的控制参数相结合，实现对音频纹理的合成，从而支持用户导向的、长时序的音频生成，相较于单尺度模型，在复杂纹理（如引擎声、雨声和心跳声）上实现了更优的泛化能力与可控性。该模型在更短的训练时间内实现了高质量的音频合成，并展现出更强的鲁棒性。

ABSTRACT

Audio textures are a subset of environmental sounds, often defined as having stable statistical characteristics within an adequately large window of time but may be unstructured locally. They include common everyday sounds such as from rain, wind, and engines. Given that these complex sounds contain patterns on multiple timescales, they are a challenge to model with traditional methods. We introduce a novel modelling approach for textures, combining recurrent neural networks trained at different levels of abstraction with a conditioning strategy that allows for user-directed synthesis. We demonstrate the model's performance on a variety of datasets, examine its performance on various metrics, and discuss some potential applications.

研究动机与目标

• 为解决使用深度学习建模音频纹理（具有稳定长期统计特性但局部可变）的挑战。
• 通过将高层控制参数（如 'rev'、'fill'）与低层音频生成通过分层条件控制相连接，实现用户导向的音频合成。
• 通过使用辅助特征（如 RMSE、起始强度）作为中间条件信号，提升模型在训练数据之外的泛化能力。
• 在包括引擎声、雨声和盖革计数器在内的多样化数据集上，展示模型生成逼真、可控音频纹理的能力。
• 探索如风格迁移和超出训练参数范围的外推等应用。

提出的方法

• 该模型采用多个堆叠的门控循环单元（GRU）层级，每个层级在不同时间尺度上运行，较低层级处理变化较慢的特征，较高层级生成原始音频样本。
• 每个层级均基于前一级的输出以及从音频信号中提取的辅助特征（如 MFCC、RMSE 和起始强度）进行条件控制。
• 控制参数（如 'rev'、'fill'、'rate'）用于生成中间条件向量，引导分层生成过程。
• 模型采用非端到端训练方式：每个层级在其对应的时间尺度上独立训练，从而减少训练时间并提高稳定性。
• 该架构将长期结构建模（通过高层级实现）与局部音频细节建模（通过低层级实现）解耦，从而实现更好的控制性与泛化能力。
• 多尺度条件控制策略使模型在保持感知连贯性的同时，能够实现纹理特征的动态变化。

实验结果

研究问题

• RQ1 具有多尺度条件控制的分层 RNN 架构能否生成高保真度、长时序的音频纹理并实现用户导向控制？
• RQ2 与单尺度模型相比，多层级条件控制在泛化能力和鲁棒性方面有何提升？
• RQ3 该模型在控制变量（如 'rate' 或 'rev'）超出训练参数范围时，其外推能力达到何种程度？
• RQ4 通过共享条件特征，能否实现从一个纹理模型向另一个模型迁移长期模式（如盖革计数器的点击时间）以实现有效的风格迁移？
• RQ5 使用可解释的辅助特征（如 RMSE、起始强度）如何提升合成质量与可控性？

主要发现

• 尽管采用更简单的基于 RNN 的架构，MTCRNN 在 FAD（Fréchet Audio Distance）指标上仍优于单尺度的 Wavenet 模型，表现出具有竞争力的样本质量。
• 由于各层级独立训练，MTCRNN 的训练时间显著缩短，且参数量少于端到端的替代方案。
• 在条件输入为生成的中间参数时，模型仍能保持高质量输出，FAD 仅出现轻微下降，表明其具备强大的泛化能力。
• 模型成功实现了对训练参数范围之外的外推：例如，在 'pop' 数据集中，其在最大训练速率三倍的条件下仍能保持正确的点击率。
• 通过非物理方式操纵控制参数，模型实现了新型合成能力，如‘清空’容器或‘倒转’发动机加速。
• 风格迁移实验表明，即使目标模型的训练数据中未包含此类模式，仍可通过共享条件特征将长期模式（如盖革计数器的点击时间）从一个模型迁移到另一个模型。