[论文解读] A Bi-Directional Transformer for Musical Chord Recognition

Jonggwon Park, Kyoyun Choi+3 more|arXiv (Cornell University)|Jul 5, 2019

Music and Audio Processing参考文献 31被引用 7

一句话总结

该论文提出了一种双向Transformer模型（BTC），用于音乐和弦识别，通过自注意力机制捕捉音频序列中的长期依赖关系，而无需单独的特征提取器或解码器。BTC在单次训练阶段即实现了具有竞争力的性能，注意力图显示其能够自适应地聚焦于相关和弦片段，并有效建模长距离上下文。

ABSTRACT

Chord recognition is an important task since chords are highly abstract and descriptive features of music. For effective chord recognition, it is essential to utilize relevant context in audio sequence. While various machine learning models such as convolutional neural networks (CNNs) and recurrent neural networks (RNNs) have been employed for the task, most of them have limitations in capturing long-term dependency or require training of an additional model. In this work, we utilize a self-attention mechanism for chord recognition to focus on certain regions of chords. Training of the proposed bi-directional Transformer for chord recognition (BTC) consists of a single phase while showing competitive performance. Through an attention map analysis, we have visualized how attention was performed. It turns out that the model was able to divide segments of chords by utilizing adaptive receptive field of the attention mechanism. Furthermore, it was observed that the model was able to effectively capture long-term dependencies, making use of essential information regardless of distance.

研究动机与目标

• 解决在自动和弦识别中捕捉音乐和弦序列长期依赖关系的挑战。
• 开发一种统一的端到端模型，消除对单独的特征提取或序列解码模块（如HMM或CRF）的需求。
• 展示自注意力机制在建模音频中和弦转换与段落边界方面的有效性。
• 可视化并分析Transformer模型中的注意力机制如何定位并聚焦于和弦识别的相关时间片段。

提出的方法

• 该模型采用双向Transformer架构，利用自注意力机制处理原始音频特征，以捕捉时间上的上下文关系。
• 输入特征源自恒定-Q变换（CQT），其提供了音频信号的时间-频率表示。
• 模型使用多头自注意力机制，在所有时间帧上计算注意力权重，从而实现自适应感受野，动态聚焦于相关片段。
• 最终的和弦预测直接从Transformer的最后层生成，无需额外的解码头或后处理。
• 通过可视化注意力图，分析模型在推理过程中对不同时间帧的关注方式，揭示各层特有的注意力模式。
• 模型在单阶段中端到端训练，使用CQT特征和真实和弦标签，避免了复杂的预训练或辅助模型。

实验结果

研究问题

• RQ1 基于自注意力的Transformer模型是否能在不使用循环或卷积结构的情况下，有效捕捉音乐和弦序列中的长期依赖关系？
• RQ2 Transformer中的双向注意力机制在识别音频中相关和弦片段与边界方面有何作用？
• RQ3 所提出的BTC模型在和弦识别准确率和训练简便性方面，相较于传统模型（如CNN和RNN）的优越程度如何？
• RQ4 Transformer模型中的注意力机制是否可解释，能否揭示和弦识别中的有意义模式，如段落划分与特征聚焦？

主要发现

• 尽管仅需单次训练阶段，BTC模型在性能上仍与最先进模型（如CNN+CRF和CRNN+CRF）相当。
• 注意力图分析表明，模型在各层中逐步扩大其感受野，从局部上下文开始，逐渐聚焦于语义相关的片段。
• 通过利用自注意力的自适应感受野，模型成功将和弦序列划分为不同段落，中间层中出现的矩形高注意力区域即为此提供了证据。
• 最终层的注意力图与正确和弦边界高度吻合，表明模型即使在时间距离较远的情况下，也能学习聚焦于关键信息。
• 在和弦存在歧义的情况下（例如G和B:min共享共同音符），多头注意力通过注意力集成有效抑制了错误关联，从而实现正确预测。
• 尽管效果显著，该模型在处理重叠音符较多的和弦对（如A和F#:min）时仍偶有失败，表明其在处理高相似度和弦对方面存在局限。