[论文解读] Efficient Learning of Harmonic Priors for Pitch Detection in Polyphonic Music

Pablo A. Alvarado, Dan Stowell|arXiv (Cornell University)|May 19, 2017

Music and Audio Processing参考文献 20被引用 6

一句话总结

本文提出一种基于新型马尔可夫谱混合（MSM）核的贝叶斯高斯过程模型，通过学习物理启发的谐波先验，提升多音音乐中的音高检测性能。通过使用逻辑斯蒂或软最大非线性变换联合建模振幅包络与音高激活，并采用变分贝叶斯进行可扩展推理，该方法在无需预先知晓活跃音符数量的情况下，成功捕捉复杂谐波结构，实现当前最优性能。

ABSTRACT

Automatic music transcription (AMT) aims to infer a latent symbolic representation of a piece of music (piano-roll), given a corresponding observed audio recording. Transcribing polyphonic music (when multiple notes are played simultaneously) is a challenging problem, due to highly structured overlapping between harmonics. We study whether the introduction of physically inspired Gaussian process (GP) priors into audio content analysis models improves the extraction of patterns required for AMT. Audio signals are described as a linear combination of sources. Each source is decomposed into the product of an amplitude-envelope, and a quasi-periodic component process. We introduce the Matérn spectral mixture (MSM) kernel for describing frequency content of singles notes. We consider two different regression approaches. In the sigmoid model every pitch-activation is independently non-linear transformed. In the softmax model several activation GPs are jointly non-linearly transformed. This introduce cross-correlation between activations. We use variational Bayes for approximate inference. We empirically evaluate how these models work in practice transcribing polyphonic music. We demonstrate that rather than encourage dependency between activations, what is relevant for improving pitch detection is to learnt priors that fit the frequency content of the sound events to detect.

研究动机与目标

• 通过在概率模型中引入物理启发的先验，提升多音音乐的自动音乐转录（AMT）性能。
• 利用高斯过程建模音乐音符的复杂谐波结构，包括起音/衰减包络与频谱内容。
• 通过变分贝叶斯近似，实现对长时音频信号的可扩展推理。
• 直接从数据中学习活跃音符的数量，避免预先指定。
• 探究通过软最大函数引入的音高激活互相关性，与通过MSM核实现的精确谐波先验，何者对性能更为关键。

提出的方法

• 将音频建模为多个源的线性组合，每个源由振幅包络与通过高斯过程生成的准周期分量构成。
• 引入马尔可夫谱混合（MSM）核，利用洛伦兹基函数在频域捕捉长期依赖关系与谐波内容。
• 对音高激活高斯过程应用逻辑斯蒂与软最大非线性变换，以强制非负性与稀疏性，后者引入激活间的互相关性。
• 采用变分贝叶斯进行近似推理，通过将四维积分替换为一维积分的组合，降低计算成本。
• 基于马尔可夫-1/2核的傅里叶变换，构建基于洛伦兹函数混合的谱密度模型。
• 在频域中学习模型超参数，以更好地反映乐器特有的谐波结构。

实验结果

研究问题

• RQ1 引入物理启发的高斯过程先验是否能提升多音音乐中的音高检测性能？
• RQ2 通过软最大函数引入的音高激活互相关性，是否比通过MSM核实现的精确谐波先验更具优势？
• RQ3 该模型能否直接从音频中学习活跃音符的数量，而无需预先指定？
• RQ4 马尔可夫谱混合核在建模谐波内容方面，与标准核相比表现如何？
• RQ5 变分贝叶斯在多大程度上实现了对长时音频信号的可扩展推理？

主要发现

• 提升音高检测性能的关键因素是通过马尔可夫谱混合核学习精确的谐波先验，而非强制激活间的互相关性。
• MSM核能有效建模多音信号中的复杂谐波内容与长期依赖关系，优于标准核函数。
• 软最大模型中引入的激活互相关性并未显著提升性能，表明谐波先验的学习比激活相关性更为关键。
• 变分贝叶斯通过将四维积分简化为一维积分的组合，实现了对数秒级音频信号的高效推理。
• 该模型在无需预先指定声事件数量的情况下，实现了当前最优的音高检测性能。
• 由于谐波结构通过数据驱动方式学习，该方法在不同乐器与多音织体中均表现出良好的泛化能力。