[论文解读] HyperSound: Generating Implicit Neural Representations of Audio Signals with Hypernetworks

Filip Szatkowski, Karol J. Piczak+3 more|arXiv (Cornell University)|Nov 3, 2022

Hearing Loss and Rehabilitation被引用 5

一句话总结

HyperSound 提出了一种基于超网络的元学习框架，用于为任意音频信号生成隐式神经表示（INRs），实现单一模型下的分辨率无关音频重建。其性能在感知质量上可与最先进模型 RAVE 相媲美，关键贡献在于首次将超网络应用于音频 INRs。

ABSTRACT

Implicit neural representations (INRs) are a rapidly growing research field, which provides alternative ways to represent multimedia signals. Recent applications of INRs include image super-resolution, compression of high-dimensional signals, or 3D rendering. However, these solutions usually focus on visual data, and adapting them to the audio domain is not trivial. Moreover, it requires a separately trained model for every data sample. To address this limitation, we propose HyperSound, a meta-learning method leveraging hypernetworks to produce INRs for audio signals unseen at training time. We show that our approach can reconstruct sound waves with quality comparable to other state-of-the-art models.

研究动机与目标

• 解决现有隐式神经表示（INR）方法的局限性：每段音频样本都需要独立模型，导致在多样化音频输入下效率低下。
• 实现单一模型在推理时为未见过的音频信号生成高质量 INRs，避免对每条信号进行微调的需要。
• 探索将超网络（此前用于图像和 3D 数据）应用于具有高时间变异性与复杂性的挑战性音频领域之可行性。
• 开发一种元学习框架，实现对多样化音频内容和采样率的泛化，支持超分辨率与重采样任务。
• 通过结合时域与频域重建的多领域损失函数，提升音频 INR 生成的训练稳定性和感知质量。

提出的方法

• 使用超网络 $H$ 从原始音频输入 $\bm{x}$ 生成目标网络 $T$ 的权重 $\bm{\theta}_x$，使单一模型能够为任意输入生成不同的 INRs。
• 采用基于 SoundStream 的卷积编码器，从输入音频信号中提取低维潜在表征。
• 设计目标网络 $T$ 时使用正弦频率 $\sin(2^k \pi t)$ 和 $\cos(2^k \pi t)$ 的位置编码，其中 $k = 0$ 到 $L-1$，且 $L=16$，以建模时间坐标 $t \in [0,1]$。
• 使用监督损失函数训练超网络，该损失结合时域的 L1 重建损失与频域的 STFT 损失，以提升感知质量。
• 采用多尺度 STFT 损失，FFT 尺寸设置为 $[128, 256, 512, 1024, 2048]$，并使用梅尔尺度变换以更好地匹配人类听觉感知。
• 通过反向传播优化整个系统，使超网络学习生成能最小化时域与频域重建误差的目标网络权重。

实验结果

研究问题

• RQ1 尽管音频波形具有高度可变性和复杂性，超网络是否能有效用于生成音频信号的隐式神经表示？
• RQ2 在多样化音频数据上训练的单一超网络模型，是否能泛化至任意采样率的未见音频信号，实现高质量的重建？
• RQ3 损失函数的选择——特别是 STFT 和梅尔尺度组件的引入——如何影响音频 INR 生成中的训练稳定性和重建质量？
• RQ4 在 MSE、LSD 和感知指标（如 SI-SNR 和 STOI）方面，目标网络规模与重建性能之间的最优权衡是什么？
• RQ5 所提方法是否能在不显著降低质量的前提下支持超分辨率与重采样任务，特别是在查询超出训练采样率范围时？

主要发现

• HyperSound 在 VCTK 验证集上实现了 0.049 的均方误差（MSE）和 0.99 的对数谱失真（LSD），定量性能与最先进模型 RAVE 相当。
• 模型在重采样任务中保持了稳定的重建质量：在 8kHz（LSD: 1.24）、16kHz（LSD: 1.19）、22.05kHz（LSD: 0.99）和 44.1kHz（LSD: 1.38）下表现良好，且在超出训练域的查询中几乎未出现崩溃。
• 基础目标网络（4×256 个神经元）在重建质量与计算成本之间实现了最佳平衡，优于更小（4×64）和更大（6×384）的变体，在 SI-SNR 和 STOI 等关键指标上表现更优。
• STFT 损失对训练稳定性和感知质量至关重要；未使用 STFT 或仅使用 L1 损失的模型在训练中出现崩溃，凸显其必要性。
• L1 + STFT 损失配置在性能上表现最优（SI-SNR: -23.50，STOI: 0.87），梅尔尺度 STFT 变体与默认 HyperSound 性能相当。
• 尽管定量结果表现强劲，感知质量仍略低于 RAVE，表明在面向音频的归纳偏置方面，超网络架构与目标网络设计仍有优化空间。