[论文解读] I'm Sorry for Your Loss: Spectrally-Based Audio Distances Are Bad at Pitch

Joseph Turian, Max Henry|arXiv (Cornell University)|Dec 8, 2020

Music and Audio Processing被引用 7

一句话总结

本文通过在受控的合成音高基准上测试，评估了常用于自监督音频学习中的基于频谱的音频距离度量在检测两个正弦波之间音高方向性方面的能力。令人惊讶的是，许多此类度量无法正确对音高变化进行排序，表现出较差的梯度方向性，并容易陷入局部极小值，揭示了这些度量与人类音高感知之间存在关键差距。

ABSTRACT

Growing research demonstrates that synthetic failure modes imply poor generalization. We compare commonly used audio-to-audio losses on a synthetic benchmark, measuring the pitch distance between two stationary sinusoids. The results are surprising: many have poor sense of pitch direction. These shortcomings are exposed using simple rank assumptions. Our task is trivial for humans but difficult for these audio distances, suggesting significant progress can be made in self-supervised audio learning by improving current losses.

研究动机与目标

• 在受控的合成音高基准中，评估广泛使用的音频到音频距离度量的感知有效性。
• 探究为何基于频谱的损失在基本音高比较任务中表现不佳，尽管其在音频表征学习中广泛应用。
• 揭示诸如错误梯度方向和局部极小值等失败模式，这些模式会损害优化和泛化能力。
• 挑战一种假设，即频谱表征天然捕捉了音高等感知相关维度。
• 倡导在自监督音频学习中，以感知合理性为重点，重新评估损失函数。

提出的方法

• 设计一个合成基准，包含两个仅在频率和振幅上不同的稳定正弦波，以隔离音高感知。
• 应用常见的音频到音频距离度量（例如 L2、L1、MEL、STFT 幅度和神经嵌入）来测量正弦波对之间的相似性。
• 使用基于排名的分析方法，评估损失是否能正确对音高变化进行排序（即，频率增加是否始终被检测为距离增加）。
• 分析损失曲面中的梯度方向，以评估优化路径效率并识别局部极小值。
• 通过比较不同信号电平下的性能，评估振幅对音高敏感度的混淆影响。
• 采用对比学习设置，评估损失是否能区分相似与不相似的音高对。

实验结果

研究问题

• RQ1 基于频谱的音频距离度量是否能正确检测两个正弦波之间音高的方向变化？
• RQ2 在优化音高差异时，常见音频损失在梯度方向性方面表现如何？
• RQ3 振幅变化在多大程度上混淆了频谱表征中的基于音高的距离估计？
• RQ4 损失曲面中是否存在阻碍音高相关任务优化的局部极小值？
• RQ5 为何使用频谱损失的模型仍需要外部音高追踪器，尽管这类损失在自监督学习中被广泛使用？

主要发现

• 许多基于频谱的音频距离度量无法正确检测音高方向，其梯度在相当大比例的音高变化中指向错误方向。
• 损失函数表现出较差的泛化能力，优化路径迂回或陷入局部极小值，尤其在振幅变化时更为明显。
• 振幅变化的存在显著降低了音高方向估计的准确性，表明频谱表征中存在混淆效应。
• 即使在简单、低维的音高任务中，也暴露了广泛使用的音频距离度量的根本缺陷，表明其并非感知上直观。
• 这些失败模式并非源于模型容量，而是源于基于频谱的损失的归纳偏置，其与人类音高感知严重不一致。
• 这些结果表明，当前的音频损失函数可能成为自监督音频表征学习的瓶颈，尤其是在需要音高敏感性的任务中。