[论文解读] Generative Melody Composition with Human-in-the-Loop Bayesian Optimization

Yijun Zhou, Yuki Koyama+2 more|arXiv (Cornell University)|Oct 7, 2020

Music Technology and Sound Studies参考文献 17被引用 8

一句话总结

本文提出了一种人机协同的贝叶斯优化系统，用于生成式旋律创作，使新手作曲家能够通过迭代选择AI建议的变体，高效地发现理想的旋律。该方法通过利用偏好反馈和光滑潜在空间探索，减少了搜索工作量，在模拟实验中表现出有效的收敛性，并在试点研究中激发了创造力。

ABSTRACT

Deep generative models allow even novice composers to generate various melodies by sampling latent vectors. However, finding the desired melody is challenging since the latent space is unintuitive and high-dimensional. In this work, we present an interactive system that supports generative melody composition with human-in-the-loop Bayesian optimization (BO). This system takes a mixed-initiative approach; the system generates candidate melodies to evaluate, and the user evaluates them and provides preferential feedback (i.e., picking the best melody among the candidates) to the system. This process is iteratively performed based on BO techniques until the user finds the desired melody. We conducted a pilot study using our prototype system, suggesting the potential of this approach.

研究动机与目标

• 解决深度生成音乐模型中高维、难理解的潜在空间所带来的挑战。
• 减轻新手作曲家在寻找理想旋律时的认知和探索负担。
• 探究人机协同贝叶斯优化是否能以最少的用户反馈高效引导旋律发现。
• 评估系统在激发创造力和支持直观、交互式音乐创作方面的能力。

提出的方法

• 系统使用预训练的MusicVAE将旋律嵌入光滑、连续的潜在空间。
• 在每次迭代中，系统通过在潜在空间的一维子空间中采样，生成五个候选旋律，贝叶斯优化引导以最大化信息增益。
• 用户从五个候选旋律中选择最偏好的一个，提供相对（偏好性）反馈以指导下一步搜索。
• 算法使用概率模型更新对潜在空间的信念，聚焦于可能包含用户目标旋律的区域。
• 系统允许用户直接编辑所选旋律，以增强控制力并支持迭代优化。
• 该过程重复进行，直至用户识别出符合其创作意图的旋律。

实验结果

研究问题

• RQ1 人机协同贝叶斯优化能否在高维潜在空间中有效引导新手作曲家找到其理想的旋律？
• RQ2 系统在最少用户反馈下，需要多少次迭代才能收敛到令人满意的结果？
• RQ3 该系统在多大程度上能激发创造性探索和超出用户初始构思的新想法生成？
• RQ4 与随机或启发式搜索策略相比，系统的建议质量如何？

主要发现

• 在模拟实验中，系统在50次迭代内将s-DTW距离减少约70%，表明具有良好的收敛性。
• 目标旋律在4维潜在空间中的欧氏距离也持续下降，证实了潜在空间的平滑性。
• 试点研究显示，两名新手作曲家均在2.5小时内完成旋律创作，使用搜索功能6至8次，表明交互效率高。
• 参与者表示，系统生成的新颖变体激发了他们未曾考虑过的新创意。
• 用户认为系统在克服创作瓶颈方面非常有帮助，有用户表示它‘拯救了他们的生命’，使他们在卡住时仍能推进创作。
• 反馈表明，未来版本需要增强对搜索激进程度的控制，并更好地考虑序列性音乐语境。