[论文解读] Adversarial Learning for Improved Onsets and Frames Music Transcription

Jong Wook Kim, Juan Pablo Bello|arXiv (Cornell University)|Jun 20, 2019

Music and Audio Processing参考文献 45被引用 21

一句话总结

该论文提出了一种对抗性训练框架，通过在时频表示中建模标签间的依赖关系，利用条件生成对抗网络（cGAN）对 Onsets and Frames 模型的预测结果进行优化，从而提升音乐转录性能。该方法通过生成更清晰、更自信的输出，显著降低了错误率并提升了泛化能力，使帧和音符的 F1 分数大幅提升，且 p < 10⁻¹⁴ 的显著性水平。

ABSTRACT

Automatic music transcription is considered to be one of the hardest problems in music information retrieval, yet recent deep learning approaches have achieved substantial improvements on transcription performance. These approaches commonly employ supervised learning models that predict various time-frequency representations, by minimizing element-wise losses such as the cross entropy function. However, applying the loss in this manner assumes conditional independence of each label given the input, and thus cannot accurately express inter-label dependencies. To address this issue, we introduce an adversarial training scheme that operates directly on the time-frequency representations and makes the output distribution closer to the ground-truth. Through adversarial learning, we achieve a consistent improvement in both frame-level and note-level metrics over Onsets and Frames, a state-of-the-art music transcription model. Our results show that adversarial learning can significantly reduce the error rate while increasing the confidence of the model estimations. Our approach is generic and applicable to any transcription model based on multi-label predictions, which are very common in music signal analysis.

研究动机与目标

• 解决标准监督学习在音乐转录中的局限性，即假设标签之间条件独立，无法建模时频表示中的标签间依赖关系。
• 通过对抗性训练引入结构化预测，提升类似 Onsets and Frames 等最先进模型的性能。
• 通过学习更准确的音符激活联合分布，减少转录错误并提高预测置信度。
• 证明对抗性训练可作为正则化器，提升在未见数据上的泛化能力并减少过拟合。
• 提供一种通用、即插即用的解决方案，适用于任何在音乐信号分析中预测多标签时频表示的模型。

提出的方法

• 引入一种条件生成对抗网络（cGAN），其中转录模型作为条件生成器，判别器则被训练以区分真实的真实标签表示与生成的预测结果。
• 应用对抗性损失，促使生成器输出的分布更接近真实数据分布，从而在时间与频率两个轴向上建模复杂的标签间依赖关系。
• 采用最小二乘 GAN 或非饱和 GAN 损失，以稳定训练过程并提升生成后验图的质量。
• 以对抗方式联合训练生成器与判别器，判别器提供一种偏好真实、高置信度音符序列的感知先验。
• 在多目标训练方案中将对抗性损失与标准的逐元素交叉熵损失结合，以在保持精度的同时增强结构一致性。
• 在训练中应用 mixup 数据增强，进一步提升鲁棒性，最优性能在 α = 0.3 时达到。

实验结果

研究问题

• RQ1 对抗性训练能否在二维音乐转录输出中有效建模标签间依赖关系，超越标准逐元素损失的建模能力？
• RQ2 在数据有限的情况下，引入基于 GAN 的正则化器是否能提升模型泛化能力并减少过拟合？
• RQ3 对抗性学习在多大程度上提升了预测置信度，并减少了帧级与音符级转录指标中的模糊输出？
• RQ4 在 F1 分数、召回率与精确率等多个评估指标下，该方法与 Onsets and Frames 等强基线模型相比表现如何？
• RQ5 该对抗性框架是否具有通用性，可迁移应用于其他预测多标签时频表示的音乐与音频处理模型？

主要发现

• 所提出的对抗性方法在 MAESTRO 测试集上实现了帧 F1（最高达 0.914）与音符 F1（最高达 0.956）的统计显著提升，所有指标的 p < 10⁻¹⁴。
• 模型生成的后验图更清晰、更自信，模糊范围（0.1–0.9）内的数值更少，降低了后处理中对阈值的敏感性。
• 训练与验证 F1 分数之间的泛化差距显著减小，表明 GAN 损失起到了有效的正则化作用。
• 采用非饱和 GAN 损失并结合 mixup 强度 α = 0.3 时性能最佳，优于基线及其他 GAN 变体。
• 性能提升在不同曲目间分布一致，表明方法具有鲁棒性与广泛适用性，而非局限于特定曲目的局部增益。
• 该方法具有通用性，可适用于任何依赖多标签时频预测的模型，包括语音与音乐合成中的相关模型。