[论文解读] Chord Generation from Symbolic Melody Using BLSTM Networks.

Hyungui Lim, Seungyeon Rhyu+1 more|arXiv (Cornell University)|Oct 23, 2017

Music and Audio Processing被引用 11

一句话总结

该论文提出了一种双向长短期记忆（BLSTM）网络，通过建模每小节12个半音的归一化特征向量中的时间依赖性，从符号化单音旋律生成和弦进行。该方法在HMM和DNN-HMM基线模型上分别实现了23.8%和11.4%的性能提升，用户研究证实听众更偏好所生成的和弦进行。

ABSTRACT

Generating a chord progression from a monophonic melody is a challenging problem because a chord progression requires a series of layered notes played simultaneously. This paper presents a novel method of generating chord sequences from a symbolic melody using bidirectional long short-term memory (BLSTM) networks trained on a lead sheet database. To this end, a group of feature vectors composed of 12 semitones is extracted from the notes in each bar of monophonic melodies. In order to ensure that the data shares uniform key and duration characteristics, the key and the time signatures of the vectors are normalized. The BLSTM networks then learn from the data to incorporate the temporal dependencies to produce a chord progression. Both quantitative and qualitative evaluations are conducted by comparing the proposed method with the conventional HMM and DNN-HMM based approaches. Proposed model achieves 23.8% and 11.4% performance increase from the other models, respectively. User studies further confirm that the chord sequences generated by the proposed method are preferred by listeners.

研究动机与目标

• 为解决从需要同时演奏多个音符的单音旋律生成连贯和弦进行的挑战。
• 建模旋律数据中的时间依赖性，以生成在音乐上合理的和弦序列。
• 通过深度学习改进传统HMM和DNN-HMM方法在和弦生成中的表现。
• 通过归一化特征向量，确保训练数据中调性和时值的一致性。

提出的方法

• 从单音旋律的每个小节中提取由12个半音组成的特征向量，以表示音高内容。
• 对每个特征向量的调性和拍号进行归一化，以确保数据集中音高和节奏特征的一致性。
• 训练双向长短期记忆（BLSTM）网络，以学习归一化旋律数据中的序列依赖关系。
• 使用伴奏谱数据库训练BLSTM模型，以学习从旋律到和弦进行的映射。
• 利用双向结构捕捉旋律中过去和未来的上下文信息，以提升和弦预测性能。
• 应用时间建模，生成与输入旋律的节奏和和声结构相匹配的和弦序列。

实验结果

研究问题

• RQ1 BLSTM网络能否有效建模单音旋律中的时间依赖性，以生成在音乐上连贯的和弦进行？
• RQ2 所提出的基于BLSTM的方法在和弦生成方面与传统HMM和DNN-HMM方法相比表现如何？
• RQ3 听众对BLSTM模型生成的和弦进行的偏好程度如何，相较于基线模型？
• RQ4 对调性和拍号的归一化是否能提升和弦生成的一致性和质量？

主要发现

• 所提出的BLSTM模型在和弦生成准确率方面相比传统的基于HMM的方法提升了23.8%。
• 该模型在DNN-HMM基线模型上表现出11.4%的性能提升，表明其在序列依赖关系建模方面更为优越。
• 用户研究表明，听众更偏好BLSTM模型生成的和弦序列，而非基线方法生成的结果。
• 对调性和拍号的归一化有助于生成更一致且和声上更连贯的和弦进行。
• BLSTM模型有效捕捉了旋律中的长程时间依赖关系，从而生成更具音乐合理性的和弦序列。
• 该方法成功生成了与输入旋律的节奏和和声结构高度匹配的和弦进行。