[论文解读] Automatic Melody Harmonization with Triad Chords: A Comparative Study

Yin-Cheng Yeh, Wen-Yi Hsiao+8 more|arXiv (Cornell University)|Jan 8, 2020

Music and Audio Processing参考文献 44被引用 7

一句话总结

本文对一系列标准旋律和弦化方法——从模板匹配和隐马尔可夫模型（HMM）到遗传算法和深度学习——在新收集的9,226个旋律/和弦对数据集上进行了比较评估。研究发现，特别是结合功能和声的深度学习模型，在客观指标和主观评估中均优于非深度学习方法。

ABSTRACT

Several prior works have proposed various methods for the task of automatic melody harmonization, in which a model aims to generate a sequence of chords to serve as the harmonic accompaniment of a given multiple-bar melody sequence. In this paper, we present a comparative study evaluating and comparing the performance of a set of canonical approaches to this task, including a template matching based model, a hidden Markov based model, a genetic algorithm based model, and two deep learning based models. The evaluation is conducted on a dataset of 9,226 melody/chord pairs we newly collect for this study, considering up to 48 triad chords, using a standardized training/test split. We report the result of an objective evaluation using six different metrics and a subjective study with 202 participants.

研究动机与目标

• 评估并比较标准旋律和弦化方法的性能，包括传统统计模型与深度学习方法。
• 收集并发布一个包含9,226个旋律/和弦对的新数据集，以实现旋律和弦化模型的标准化基准测试。
• 通过客观指标与大规模主观用户研究（202名参与者）评估模型性能。
• 研究不同模型架构及整合的音乐理论（如功能和声）如何影响和弦化质量。
• 通过解耦模型架构与音乐知识整合方式，为未来研究奠定基础。

提出的方法

• 本研究实现并评估了五种模型：模板匹配、隐马尔可夫模型（HMM）、遗传算法（GA）、双向长短期记忆网络（BiLSTM）以及一种具备功能和声意识的深度学习模型。
• 所有模型均使用新收集的9,226组符号音乐对数据，采用标准化的80/20训练/测试划分。
• 使用六项客观指标评估和弦进行质量，包括和声性、声部进行以及和弦音与非和弦音的比例。
• 通过202名参与者的主观评估，对模型输出进行两两比较，以评估其音乐质量与悦耳程度的感知。
• 功能和声意识模型将和弦功能（如主和弦、属和弦）作为输入表示的一部分，以提升音乐连贯性。
• 所有模型在相同条件下进行评估，以确保公平比较，且和弦标签统一简化为大三和弦/小三和弦以保持一致性。

实验结果

研究问题

• RQ1 传统统计模型（如HMM、模板匹配）与现代深度学习模型在旋律和弦化质量上相比如何？
• RQ2 在旋律和弦化任务中，整合功能和声知识在多大程度上能提升深度学习模型的性能？
• RQ3 客观指标与人类感知在评估和弦化质量时的相关性如何？
• RQ4 与绝对评分相比，两两主观评估在多大程度上能减少人类评分中的偏差？
• RQ5 在生成音乐上合理的和弦进行时，不同模型架构的相对优势与局限性是什么？

主要发现

• 深度学习模型，特别是结合功能和声编码的BiLSTM模型，在所有客观指标和主观评估中均表现最佳。
• 具备功能和声意识的模型在和声性与感知音乐兴趣方面，均优于其他深度学习与非深度学习模型。
• 主观评分显示，当与人类创作的和弦进行配对时，模型输出被认为更悦耳，但功能和声模型在两两比较中整体排名最高。
• 模板匹配与基于HMM的模型表现尚可，但在客观与主观评估中始终被深度学习方法超越。
• 基于遗传算法的模型表现中等，表明进化搜索策略可生成合理和弦进行，但缺乏神经网络的泛化能力。
• 本研究证实，整合音乐理论知识（如功能和声）能显著提升模型性能，尤其是在生成音乐连贯的和弦进行方面。