[论文解读] Audio Texture Synthesis with Scattering Moments

Joan Bruna, Stéphane Mallat|arXiv (Cornell University)|Nov 2, 2013

Speech and Audio Processing参考文献 4被引用 33

一句话总结

本文提出了一种基于散射矩的音频纹理合成方法——一种从迭代复小波变换和模运算中导出的统计表示。通过从单个音频信号中估计这些矩，并利用梯度下降优化合成信号以匹配它们，该方法仅使用402个系数即可实现高保真度的纹理合成，显著少于当前最先进方法，同时保留了非高斯瞬态和调制特性。

ABSTRACT

We introduce an audio texture synthesis algorithm based on scattering moments. A scattering transform is computed by iteratively decomposing a signal with complex wavelet filter banks and computing their amplitude envelop. Scattering moments provide general representations of stationary processes computed as expected values of scattering coefficients. They are estimated with low variance estimators from single realizations. Audio signals having prescribed scattering moments are synthesized with a gradient descent algorithms. Audio synthesis examples show that scattering representation provide good synthesis of audio textures with much fewer coefficients than the state of the art.

研究动机与目标

• 开发一种基于散射矩的紧凑且感知准确的音频纹理表示方法。
• 解决二阶统计量在捕捉音频信号非高斯特性方面的局限性。
• 与现有方法相比，减少音频纹理合成所需的系数数量。
• 通过保留瞬态和振幅调制结构，实现逼真音频纹理的合成。
• 验证散射矩是否能提供一致且信息丰富的纹理合成描述符。

提出的方法

• 通过迭代复小波变换和模运算计算散射变换，以提取多尺度的振幅和频率调制。
• 利用单个信号实现中的低方差估计器，将散射矩估计为小波系数振幅的期望值。
• 使用一阶和二阶散射矩（Q1=4，Q2=1）作为紧凑描述符，合成共402个系数。
• 采用Levenberg-Marquardt算法进行梯度下降，以最小化目标与合成散射矩之间的差异。
• 引入频率散射矩（Q1=1）以改善不同频带间振幅调制的同步性。
• 通过最小化基于散射系数差异的非线性最小二乘目标函数，优化合成过程。

实验结果

研究问题

• RQ1 散射矩能否提供一种紧凑但信息丰富的音频纹理表示，以捕捉非高斯特性？
• RQ2 与一阶矩相比，包含二阶散射矩在多大程度上提升了合成音频的感知质量？
• RQ3 与现有方法相比，散射矩在多大程度上减少了高质量音频纹理合成所需的系数数量？
• RQ4 频率散射矩在多大程度上提升了对宽频带和脉冲型纹理（如鼓掌或火焰噼啪声）的合成效果？
• RQ5 对于同一纹理的多个实现，散射表示是否具有一致性，从而实现仅从单个训练信号中可靠合成？

主要发现

• 仅使用一阶散射矩进行合成的信号类似于高斯过程，无法捕捉锤击或鼓掌等瞬态特性。
• 引入二阶散射矩可准确合成冲击性和非高斯现象，如凿岩机声和翻动纸张声。
• 完整的402系数表示（46个一阶矩，266个二阶矩，92个频率矩）实现了感知质量高的重建效果。
• 增加频率散射矩（Q1=1，+120个系数）改善了不同频带间振幅调制的同步性，这对逼真瞬态再现至关重要。
• Levenberg-Marquardt算法在20至40次迭代内收敛，分别实现10−2和10−4的相对近似误差。
• 散射矩优于高阶矩方法，因其能从单个实现中提供稳定、低方差的估计器，从而实现鲁棒合成。