[论文解读] A Framework for Automated Pop-song Melody Generation with Piano Accompaniment Arrangement

Ziyu Wang, Gus Xia|arXiv (Cornell University)|Dec 28, 2018

Music and Audio Processing参考文献 7被引用 4

一句话总结

本文提出了一种统一框架，用于从和弦进行输入自动生成流行歌曲旋律与钢琴伴奏。该框架采用和声交替模型、基于季节性ARMA的旋律生成模型以及旋律整合模型，生成具有音乐一致性的结果，主观评分显著高于双向LSTM基线模型，且性能与商业软件Band in a Box相当。

ABSTRACT

We contribute a pop-song automation framework for lead melody generation and accompaniment arrangement. The framework reflects the major procedures of human music composition, generating both lead melody and piano accompaniment by a unified strategy. Specifically, we take chord progression as an input and propose three models to generate a structured melody with piano accompaniment textures. First, the harmony alternation model transforms a raw input chord progression to an altered one to better fit the specified music style. Second, the melody generation model generates the lead melody and other voices (melody lines) of the accompaniment using seasonal ARMA (Autoregressive Moving Average) processes. Third, the melody integration model integrates melody lines (voices) together as the final piano accompaniment. We evaluate the proposed framework using subjective listening tests. Experimental results show that the generated melodies are rated significantly higher than the ones generated by bi-directional LSTM, and our accompaniment arrangement result is comparable with a state-of-the-art commercial software, Band in a Box.

研究动机与目标

• 开发一种自动化框架，以模拟人类流行歌曲创作过程。
• 以统一、结构化的方式生成主旋律与钢琴伴奏。
• 通过统计建模与和声优化提升旋律质量与伴奏一致性。
• 通过主观听音测试评估该框架在现有方法上的性能表现。

提出的方法

• 和声交替模型通过风格感知变换对原始和弦进行修改，使其更符合目标音乐风格。
• 旋律生成模型使用季节性ARMA过程生成主旋律及伴奏所需的附加声部。
• 旋律整合模型将多个生成的声部整合为最终可演奏的钢琴伴奏音色。
• 该框架以和弦进行为输入，输出完整、和声一致的流行歌曲，包含旋律与伴奏。
• 所有组件均在一个端到端的统一流程中进行训练与评估，以确保音乐一致性。
• 通过主观听音测试对系统进行评估，以衡量其感知质量与音乐性。

实验结果

研究问题

• RQ1 统一框架能否从和弦进行中生成具有音乐一致性的流行歌曲旋律与钢琴伴奏？
• RQ2 与双向LSTM等循环模型相比，季节性ARMA过程在旋律生成方面有何改进？
• RQ3 和声交替模型在多大程度上提升了和弦进行对目标音乐风格的适配性？
• RQ4 集成输出在感知质量方面与商业软件相比如何？
• RQ5 各组件（和声、旋律、整合）对最终音乐输出的相对影响是什么？

主要发现

• 在主观听音测试中，生成的旋律评分显著高于双向LSTM基线模型生成的旋律。
• 该框架的伴奏编排评分与最先进的商业软件Band in a Box相当。
• 和声交替模型成功提升了和弦进行对目标音乐风格的适配性，增强了整体音乐一致性。
• 基于季节性ARMA的旋律生成模型相比循环基线模型，产生了更具节奏感与旋律结构的输出。
• 旋律整合模型有效将多个声部整合为平衡、可演奏的钢琴音色，未出现不协和或声部冲突。
• 完整框架展现出出色的音乐性与一致性，验证了其模块化、统一设计的有效性。