[论文解读] AI-Based Affective Music Generation Systems: A Review of Methods, and Challenges

Adyasha Dash, Kat Agres|arXiv (Cornell University)|Jan 10, 2023

Music and Audio Processing被引用 7

一句话总结

本综述于 2022 年对基于人工智能的情感音乐生成（AI-AMG）系统进行梳理，分类方法、特征、评估、挑战与未来研究方向。

ABSTRACT

Music is a powerful medium for altering the emotional state of the listener. In recent years, with significant advancement in computing capabilities, artificial intelligence-based (AI-based) approaches have become popular for creating affective music generation (AMG) systems that are empowered with the ability to generate affective music. Entertainment, healthcare, and sensor-integrated interactive system design are a few of the areas in which AI-based affective music generation (AI-AMG) systems may have a significant impact. Given the surge of interest in this topic, this article aims to provide a comprehensive review of AI-AMG systems. The main building blocks of an AI-AMG system are discussed, and existing systems are formally categorized based on the core algorithm used for music generation. In addition, this article discusses the main musical features employed to compose affective music, along with the respective AI-based approaches used for tailoring them. Lastly, the main challenges and open questions in this field, as well as their potential solutions, are presented to guide future research. We hope that this review will be useful for readers seeking to understand the state-of-the-art in AI-AMG systems, and gain an overview of the methods used for developing them, thereby helping them explore this field in the future.

研究动机与目标

• 总结 AI 基于情感的音乐生成（AI-AMG）系统的文献。
• 按核心生成算法将 AI-AMG 系统分类（基于规则、数据驱动、优化、混合）。
• 回顾用于定制情感输出的音乐特征和方法。
• 讨论情感输出的评估方法（算法性和基于人类的）。
• 识别挑战并提出 AI-AMG 研究的未来方向。

提出的方法

• 对 Google Scholar、Scopus、IEEE Xplore 的 AI-AMG 论文进行系统性文献综述。
• 使用针对情感、情绪、合成/生成和音乐的检索式，筛得 56 篇相关文献。
• 将 AMG 系统划分为四大算法族（基于规则、数据驱动、优化、混合）。
• 分析 TEI、AMG 与 EE 的组成及其在 AI-AMG 系统中的交互。
• 讨论评估方法，包括算法性评估和人体研究，并区分知觉情感和诱发情感。

实验结果

研究问题

• RQ1 用于生成 AI 基于情感的音乐的核心算法方法有哪些（基于规则、数据驱动、优化、混合）？
• RQ2 在 AI-AMG 系统中哪此音乐特征被操纵以表达目标情感？
• RQ3 AI-AMG 系统在情感表达方面如何评估（知觉情感 vs 诱发情感及方法学取向）？
• RQ4 AI-AMG 当前面临的挑战与未解问题有哪些，未来方向建议为何？
• RQ5 自 2015 年以来，该领域在方法学和应用方面的发展如何？

主要发现

• 在所评 56 篇文献中，有 21 篇使用数据驱动方法（其中包含 17 种神经网络方法和 4 种马尔可夫模型方法）。
• 基于规则的方法出现在 18 篇文章中，涵盖用于表达情感的简单与复杂规则集。
• 优化方法出现在 7 篇文章中，混合方法出现在 10 篇文章中。
• AI-AMG 系统通常围绕 Target Emotion Identification (TEI)、Affective Music Generation (AMG) 与 Emotion Evaluation (EE) 构建。
• 情感评估通过算法性指标或人体研究进行，可能的模态包括知觉情感与诱发情感及生理数据。