[论文解读] Improved Chord Recognition by Combining Duration and Harmonic Language Models

Filip Korzeniowski, Gerhard Widmer|arXiv (Cornell University)|Aug 16, 2018

Music and Audio Processing参考文献 27被引用 7

一句话总结

本文提出了一种新颖的和弦识别框架，将时间建模解耦为独立的和声语言模型与和弦持续时间模型，通过在和弦序列层面而非帧层面应用基于RNN的模型，提升了识别性能。该方法实现了最先进性能，在使用基于GRU的和声语言与持续时间模型时，主要/小调和弦的加权和弦符号召回率（WCSR）达到0.8047，显著优于标准的HMM类模型。

ABSTRACT

Chord recognition systems typically comprise an acoustic model that predicts chords for each audio frame, and a temporal model that casts these predictions into labelled chord segments. However, temporal models have been shown to only smooth predictions, without being able to incorporate musical information about chord progressions. Recent research discovered that it might be the low hierarchical level such models have been applied to (directly on audio frames) which prevents learning musical relationships, even for expressive models such as recurrent neural networks (RNNs). However, if applied on the level of chord sequences, RNNs indeed can become powerful chord predictors. In this paper, we disentangle temporal models into a harmonic language model---to be applied on chord sequences---and a chord duration model that connects the chord-level predictions of the language model to the frame-level predictions of the acoustic model. In our experiments, we explore the impact of each model on the chord recognition score, and show that using harmonic language and duration models improves the results.

研究动机与目标

• 为解决现有时间模型在捕捉和弦序列中长期和声关系方面的局限性。
• 通过重新思考时间建模应施加的层次，从帧级转向和弦序列级，提升和弦识别性能。
• 开发并评估能够更好地捕捉和弦进行中音乐结构的基于RNN的语言与持续时间模型。
• 证明将语言建模与持续时间建模解耦可带来可测量的和弦识别性能提升。
• 验证在更高层次上对和弦序列进行建模，可使RNN学习到有意义的和声进行，而帧级模型则无法做到。

提出的方法

• 该框架将时间模型解耦为和声语言模型 $P_L$，用于在压缩的和弦序列上（去除连续重复项）预测和弦转换，以及持续时间模型 $P_D$，用于在每个帧上预测和弦是否改变或保持不变。
• 语言模型 $P_L$ 以RNN（GRU）实现，通过在和弦序列上进行训练，使其能够学习长期和声进行。
• 持续时间模型 $P_D$ 以二分类问题（改变或保持）建模，使用RNN或统计分布（如负二项分布），其中RNN表现优于静态模型。
• 声学模型 $P_A$ 提供帧级和弦预测，随后通过持续时间模型与和弦级预测对齐。
• 完整系统采用概率生成模型，通过因子分解结合 $P_A$、$P_L$ 和 $P_D$：$P(y_{1:T}|x_{1:T}) \propto \prod_t \frac{1}{P(y_t)} P_A(y_t|x_t) P_T(y_t|y_{1:t-1})$，其中 $P_T$ 分解为 $P_L$ 和 $P_D$。
• 推理采用哈希束搜索，束宽 $N_b=25$，每哈希保留 $N_s=4$ 个相似解，对n-gram模型进行消融实验时使用精确解码。

实验结果

研究问题

• RQ1 在和弦序列层面（而非帧层面）建模和弦进行，是否能显著提升和弦识别性能？
• RQ2 基于RNN的语言与持续时间模型与传统的一阶模型（如HMM、CRF）相比，在捕捉和声关系方面表现如何？
• RQ3 与标准时间模型中隐式持续时间建模相比，单独引入持续时间模型在多大程度上提升了识别准确率？
• RQ4 同时对语言与持续时间建模采用深度学习方法，是否能带来一致且可测量的和弦识别指标提升？
• RQ5 不同模型架构（GRU vs. n-gram vs. 负二项分布）对最终识别得分的影响如何？

主要发现

• GRU-512语言模型与GRU-256持续时间模型组合在主要/小调和弦字母表上实现了最高的WCSR（0.8047），显著优于标准的2-gram/负二项分布基线（0.7955）。
• 该提升具有统计显著性，配对t检验的p值小于2.49 × 10⁻²³，证实了实验中的一致性增益。
• 随着语言模型与持续时间模型的对数概率得分提高，WCSR呈线性增长，表明进一步优化这两个组件仍可提升识别性能。
• 近似束搜索（束宽25）的性能几乎与精确解码相当，性能下降可忽略，验证了其在大规模推理中的效率。
• 负二项分布持续时间模型的表现与基于GRU的持续时间模型相当，但基于GRU的模型展现出更强的泛化能力，并与语言模型更好地集成。
• 结果表明，将RNN应用于和弦序列层面可有效建模和声进行，而帧级建模则无法捕捉此类长期依赖关系。