[论文解读] Automatic Composition of Guitar Tabs by Transformers and Groove Modeling

Yu‐Hua Chen, Yu-Hsiang Huang+2 more|arXiv (Cornell University)|Aug 4, 2020

Music and Audio Processing参考文献 38被引用 12

一句话总结

本文提出一种微调后的Transformer-XL模型，用于自动创作指弹吉他谱，通过引入律动建模以提升节奏一致性。结果表明，具备律动感知能力的生成模型能产出更具音乐性和听觉愉悦感的谱子，人类听者评价其生成的吉他谱在音质上与真实人类创作相当。

ABSTRACT

Deep learning algorithms are increasingly developed for learning to compose music in the form of MIDI files. However, whether such algorithms work well for composing guitar tabs, which are quite different from MIDIs, remain relatively unexplored. To address this, we build a model for composing fingerstyle guitar tabs with Transformer-XL, a neural sequence model architecture. With this model, we investigate the following research questions. First, whether the neural net generates note sequences with meaningful note-string combinations, which is important for the guitar but not other instruments such as the piano. Second, whether it generates compositions with coherent rhythmic groove, crucial for fingerstyle guitar music. And, finally, how pleasant the composed music is in comparison to real, human-made compositions. Our work provides preliminary empirical evidence of the promise of deep learning for tab composition, and suggests areas for future study.

研究动机与目标

• 探究深度学习模型是否能够仅从符号化吉他谱输入中生成在吉他指板上合理且一致的品弦指法，此类信息对吉他等吉他类指板乐器至关重要，但在标准MIDI基模型中常被忽略。
• 评估模型是否能在未提供显式律动标注的情况下，学习生成连贯的节奏律动——这对富有表现力的指弹吉他演奏至关重要。
• 通过音频演绎与人类听者评价，对比模型生成的吉他谱与真实人类创作谱在感知质量上的差异。
• 探究不同向量量化律动表示方式对生成谱序列质量与节奏一致性的影响。

提出的方法

• 模型采用改进版Music Transformer-XL架构，将符号化吉他谱表示作为序列标记进行处理。
• 吉他谱表示法编码了弦位、品位与演奏技巧，使模型能够学习指板特定的音符组合。
• 引入并评估了四种向量量化律动表示：硬性、软性，以及使用离散与连续嵌入的两种变体。
• 将律动事件作为高层节奏提示注入输入序列，以引导模型在跨小节时保持一致的节奏感觉。
• 模型在精选的333首指弹吉他谱数据集上进行微调，训练数据按16分音符网格进行时间对齐。
• 客观指标包括预测与真实律动模式之间的硬性准确率与软性距离；主观评估则通过音频播放与听者在李克特量表上的评分进行。

实验结果

研究问题

• RQ1 神经网络是否仅从符号化吉他谱输入中，不仅能生成音符序列，还能生成合理且一致的吉他指板指法？
• RQ2 显式引入律动建模是否能提升生成吉他谱的节奏一致性与感知音乐性？
• RQ3 在听觉偏好与感知质量方面，模型生成谱的音频演绎与真实人类创作谱相比如何？

主要发现

• 具备律动感知的模型在客观指标上显著优于无律动基线模型，其中硬性与软性律动表示均与真实延续模式具有更高相似度。
• 硬性律动模型的平均意见得分（MOS）为3.43，与真实谱（MOS 3.48）在主观评价中无统计学差异。
• 用户研究中的专业人士能够区分律动感知与无律动模型，报告称律动感知生成谱具有更优的旋律连贯性与节奏感。
• 尽管在长期结构一致性方面仍不及真实人类创作，表明在长时序音乐结构建模方面仍有改进空间。
• 尽管生成长度较短（16小节），硬性律动生成谱的音质仍被评价为与真实人类吉他谱相当，显示出未来发展的强大潜力。