[论文解读] Learning Disentangled Representations for Timber and Pitch in Music Audio

Yun-Ning Hung, Yi‐An Chen+1 more|arXiv (Cornell University)|Nov 8, 2018

Music and Audio Processing参考文献 25被引用 13

一句话总结

本文提出了两种深度卷积自编码器模型——DuoAE 和 UnetAE——通过使用逐帧的乐器和音高标签，从原始音频中学习音乐音色与音高的解耦表征。通过利用对齐的 MIDI 钢琴卷帘进行时间监督以及对抗性训练，模型实现了通过‘音色交叉’在音频域内进行音乐编辑，其中 UnetAE 在音色迁移过程中表现出更优的音高结构保持能力。

ABSTRACT

Timbre and pitch are the two main perceptual properties of musical sounds. Depending on the target applications, we sometimes prefer to focus on one of them, while reducing the effect of the other. Researchers have managed to hand-craft such timbre-invariant or pitch-invariant features using domain knowledge and signal processing techniques, but it remains difficult to disentangle them in the resulting feature representations. Drawing upon state-of-the-art techniques in representation learning, we propose in this paper two deep convolutional neural network models for learning disentangled representation of musical timbre and pitch. Both models use encoders/decoders and adversarial training to learn music representations, but the second model additionally uses skip connections to deal with the pitch information. As music is an art of time, the two models are supervised by frame-level instrument and pitch labels using a new dataset collected from MuseScore. We compare the result of the two disentangling models with a new evaluation protocol called "timbre crossover", which leads to interesting applications in audio-domain music editing. Via various objective evaluations, we show that the second model can better change the instrumentation of a multi-instrument music piece without much affecting the pitch structure. By disentangling timbre and pitch, we envision that the model can contribute to generating more realistic music audio as well.

研究动机与目标

• 开发深度学习模型，从原始音频中解耦音乐音色与音高，以提升音频编辑能力。
• 解决传统信号处理方法依赖手工设计特征且缺乏直接解耦评估的问题。
• 通过来自逐帧 MIDI 标注的时间监督，实现数据驱动、端到端的解耦表征学习。
• 通过操纵音色同时保持音高结构，证明在音频域进行音乐编辑的可行性。
• 提出一种新颖的评估协议——‘音色交叉’，以定量评估表征学习中的解耦质量。

提出的方法

• 模型采用编码器-解码器架构并共享权重，将原始音频谱图映射为音色与音高解耦的潜在表征。
• 采用对抗性训练，通过促使模型对音色和音高分量预测零均值嵌入来强制实现解耦。
• 通过来自时间对齐 MIDI 文件的逐帧乐器和音高标签施加时间监督，实现在音符级别的精确监督。
• UnetAE 模型引入对称跳跃连接，使音高信息能直接从编码器流向解码器，从而改善音高重建。
• 模型被训练为重建符号化钢琴卷帘表示（每种乐器和音高的音符开启/关闭），而非原始音频，从而实现更好的解耦。
• 提出一种新的评估协议——‘音色交叉’，即在保留音高的前提下交换不同音频片段的音色表征，从而实现对解耦质量的定量评估。

实验结果

研究问题

• RQ1 具有对抗性训练和时间监督的深度自编码器能否在音乐音频中学习到音色与音高的解耦表征？
• RQ2 与标准度量相比，所提出的‘音色交叉’评估协议在衡量解耦质量方面有多有效？
• RQ3 UnetAE 架构中的跳跃连接在音色迁移过程中在多大程度上提升了音高的保持能力？
• RQ4 所学习的表征能否实现在不重新录制的情况下进行逼真的音频域音乐编辑？
• RQ5 目标输出选择（钢琴卷帘 vs. CQT）如何影响解耦表征学习的性能？

主要发现

• UnetAE 在音色交叉任务中实现了 69.1% 的音高准确率，显著优于 DuoAE（42.8%）和未采用对抗性训练的消融模型。
• 与使用 CQT 相比，使用钢琴卷帘作为目标输出使乐器识别准确率提高 9.6%，音高准确率提高 5.3%，证实了时间监督的优势。
• 从 UnetAE 中移除跳跃连接后，转录准确率降至 0.407，音色交叉中的音高准确率下降至 0.068，表明跳跃连接在音高保持中起着关键作用。
• 在钢琴到小提琴音色交叉后生成的音频谱图成功捕捉了关键的声学特征，如更长的延音和更强的泛音。
• 消融实验确认，若缺乏对抗性训练或适当的监督，模型在解耦音高与音色方面的能力会显著下降。
• 尽管结果令人鼓舞，但音频质量仍不理想，表明通过 WaveNet 或多带架构等先进解码器仍有改进空间。