[论文解读] On Time-frequency Scattering and Computer Music

Vincent Lostanlen|arXiv (Cornell University)|Oct 10, 2018

Speech and Audio Processing参考文献 7被引用 5

一句话总结

本文提出了时频散射（time-frequency scattering），一种数学上严谨且可逆的音频纹理表征方法，结合了 musique concrète 的感知真实感与 Elektronische Musik 的创作灵活性。通过级联时频小波变换与模非线性，并利用紧框架条件确保能量守恒，该方法可仅从散射系数的数值表格中忠实重建复杂听觉感知，从而实现从具体声音到电子乐谱再回到原始声音的完整闭环。

ABSTRACT

Time-frequency scattering is a mathematical transformation of sound waves. Its core purpose is to mimick the way the human auditory system extracts information from its environment. In the context of improving the artificial intelligence of sounds, it has found succesful applications in automatic speech transcription as well as the recognition of urban sounds and musical sounds. In this article, we show that time-frequency scattering can also be useful for applications in contemporary music creations.

研究动机与目标

• 在计算声音设计中调和 musique concrète 的保真度与 Elektronische Musik 的表现灵活性。
• 开发一种数学上严谨、可逆的音频表征方法，以捕捉多尺度的谱时调制特征。
• 弥合听觉处理的神经生理学模型（STRF）与计算机音乐创作的实用工具之间的鸿沟。
• 仅从散射系数中实现对复杂听觉纹理的原始波形重建，无需原始波形数据。
• 为通过感知有意义的无量纲散射系数来表示和操控声学纹理，提供正式框架。

提出的方法

• 通过在对数分辨率 $2^{ u}$ 下调谐的 Morlet 小波，将时间散射扩展至时频域，形成小波模运算的级联结构。
• 采用两层散射网络：第一层作用于时间域（时域调制），第二层作用于频率域（频域调制），路径形式为 $p = (\nu_1, \nu_2, \nu_1::\nu_1)$。
• 在滤波器组上施加紧框架条件：$1 - \varepsilon \lesssim \widehat{\phi}(\omega::v_r)^2 + \frac{1}{2}\sum_{\gamma::v_r} |\widehat{\psi}_{\gamma::v_r}|^2(\omega::v_r) \lesssim 1$，以确保各层之间的能量守恒。
• 将散射系数表示为无量纲量，单位为百万分之一（ppm），从而可直接映射至感知能量分布。
• 利用 Waldspurger（2016）的可逆性定理，确保在无限深度极限下，原始信号可从散射系数中完美重建。
• 采用散射系数的表格化表示方式，以编码一段声音（如 FAVN）的听觉感知，而无需存储原始波形。

实验结果

研究问题

• RQ1 时频散射表征能否忠实编码 musique concrète 中复杂音频纹理的感知结构？
• RQ2 如何使一种生物启发的听觉模型（STRF）具备可逆性并可在计算机音乐中实用化？
• RQ3 仅从散射系数的数值表格在多大程度上可重建原始声音的听觉体验？
• RQ4 能否将散射变换推广至同时包含时域与频域调制的结构，同时保持能量守恒与可逆性？
• RQ5 感知量化与表格化组织在实现基于数学结构的新音乐创作形式中起到何种作用？

主要发现

• 时频散射变换在所有层级上均保持能量守恒，由于紧框架条件，散射表征的总能量等于原始信号 $\mathbf{U}_0(t)$ 的能量。
• 散射系数 $\mathbf{U}_m(t, \lambda)$ 为无量纲量，取值范围在 0 到 1 之间，经缩放后以百万分之一（ppm）为单位，可精确编码感知能量。
• 在 $m \to \infty$ 的极限下，该表征具有可逆性，Waldspurger 已证明此性质，从而可从散射系数中完美重建原始波形。
• 该方法可仅从散射系数表格中实现对一段作品（如 FAVN）的声学化处理，无需原始音频，证明了其完整的重建能力。
• 散射路径 $p = (\nu_1, \nu_2, \nu_1::\nu_1)$ 直接映射至感知上有意义的特征：基频（20 Hz – 20 kHz）、时域调制率（1 Hz – 1 kHz）与频域调制尺度（周期/八度）。
• 尽管存在随机采样与有限计算资源的限制，重建声音仍为原始声音的紧密近似，体现了该框架的鲁棒性与感知保真度。