[论文解读] Learning long-term music representations via hierarchical contextual constraints

Shiqi Wei, Gus Xia|arXiv (Cornell University)|Feb 13, 2022

Music and Audio Processing被引用 5

一句话总结

本文提出了一种两阶段框架，通过对比预训练和分层微调施加分层上下文约束，以学习解耦的、短语级别的音乐表征。通过约束长期表征与短期表征接近，并强制恢复子短语表征，该方法稳定了训练过程，并在不增加潜在维度的情况下实现了短语级别风格迁移、潜在插值和主题变化方面的最先进性能。

ABSTRACT

Learning symbolic music representations, especially disentangled representations with probabilistic interpretations, has been shown to benefit both music understanding and generation. However, most models are only applicable to short-term music, while learning long-term music representations remains a challenging task. We have seen several studies attempting to learn hierarchical representations directly in an end-to-end manner, but these models have not been able to achieve the desired results and the training process is not stable. In this paper, we propose a novel approach to learn long-term symbolic music representations through contextual constraints. First, we use contrastive learning to pre-train a long-term representation by constraining its difference from the short-term representation (extracted by an off-the-shelf model). Then, we fine-tune the long-term representation by a hierarchical prediction model such that a good long-term representation (e.g., an 8-bar representation) can reconstruct the corresponding short-term ones (e.g., the 2-bar representations within the 8-bar range). Experiments show that our method stabilizes the training and the fine-tuning steps. In addition, the designed contextual constraints benefit both reconstruction and disentanglement, significantly outperforming the baselines.

研究动机与目标

• 为解决在短时段之外学习稳定、解耦的长期音乐表征的挑战。
• 克服端到端分层模型在长程音乐表征学习中不稳定且性能差的问题。
• 在短语级别（例如8小节短语）实现高质量、连贯的音乐生成，且可控制音高和节奏等因子。
• 设计归纳偏置，引导模型学习有意义且可解释的表征，而不增加潜在维度。
• 通过学习到的表征展示短语级别的风格迁移、潜在因子插值和主题变化。

提出的方法

• 使用对比损失对短语级别表征进行预训练，以最小化短语级别与小节级别表征之间的差异。
• 使用 EC²-VAE 提取用于音高和节奏的解耦小节级别表征作为监督信号。
• 通过分层预测头从短语级别编码中重建小节级别表征，对模型进行微调。
• 在预训练和微调过程中均应用结构化 InfoNCE 损失，以稳定训练并强制实现上下文一致性。
• 在早期微调阶段固定编码器，并逐步微调整个网络，以提高表征质量。
• 使用球面线性插值（SLERP）进行节奏因子的插值，通过添加噪声的后验采样实现主题变化。

实验结果

研究问题

• RQ1 结构化的上下文约束是否能稳定长期音乐表征模型的训练？
• RQ2 从长期编码中强制恢复短期表征是否能改善解耦性和连贯性？
• RQ3 短语级别表征是否能在不增加潜在维度的情况下实现高质量的风格迁移、插值和主题变化？
• RQ4 与端到端分层模型相比，该方法在稳定性和性能方面表现如何？
• RQ5 长期表征是否能比短期模型更好地建模全局结构和局部连贯性？

主要发现

• 所提方法在8小节短语的音高和节奏因子重建与解耦方面显著优于基线模型。
• 通过在不同作品间交换表征，该模型在短语级别风格迁移方面实现了最先进性能。
• 通过 SLERP 进行的潜在插值在小节间产生连贯的旋律，即使在转换期间也保持连贯，表明学习到的表征具有强大的全局连贯性。
• 通过节奏因子的后验采样实现的主题变化生成了音乐上合理且平滑的过渡，证明了对节奏结构的控制能力。
• 主观评估显示，由 Hierarchical-EC²-VAE 生成的旋律在创造力、自然度和整体音乐性方面显著优于 2 小节 EC²-VAE 生成的旋律（p < 0.05）。
• 尽管仅使用小节级别表征作为监督，该模型在创造力方面与人类作曲作品相比达到了具有竞争力的质量。