[論文レビュー] AI-Based Affective Music Generation Systems: A Review of Methods, and Challenges

Adyasha Dash, Kat Agres|arXiv (Cornell University)|Jan 10, 2023

Music and Audio Processing被引用数 7

ひとこと要約

この2022年のレビューは、AIベースの感情的音楽生成（AI-AMG）システムを調査し、手法、特徴、評価、課題、今後の研究方向を分類している。

ABSTRACT

Music is a powerful medium for altering the emotional state of the listener. In recent years, with significant advancement in computing capabilities, artificial intelligence-based (AI-based) approaches have become popular for creating affective music generation (AMG) systems that are empowered with the ability to generate affective music. Entertainment, healthcare, and sensor-integrated interactive system design are a few of the areas in which AI-based affective music generation (AI-AMG) systems may have a significant impact. Given the surge of interest in this topic, this article aims to provide a comprehensive review of AI-AMG systems. The main building blocks of an AI-AMG system are discussed, and existing systems are formally categorized based on the core algorithm used for music generation. In addition, this article discusses the main musical features employed to compose affective music, along with the respective AI-based approaches used for tailoring them. Lastly, the main challenges and open questions in this field, as well as their potential solutions, are presented to guide future research. We hope that this review will be useful for readers seeking to understand the state-of-the-art in AI-AMG systems, and gain an overview of the methods used for developing them, thereby helping them explore this field in the future.

研究の動機と目的

• AIベースの感情的音楽生成（AI-AMG）システムに関する文献を要約する。
• AI-AMGシステムをコア生成アルゴリズム（ルールベース、データ駆動型、最適化、ハイブリッド）で分類する。
• 感情的な出力を調整するために使用される音楽的特徴と手法をレビューする。
• 感情表現的なAI-AMG出力の評価手法を検討する（アルゴリズム的および人間ベース）。
• AI-AMG研究の課題を特定し、今後の方向性を提案する。

提案手法

• Google Scholar、Scopus、IEEE XploreからのAI-AMG論文の系統的文献調査。
• 感情・情動・合成/生成・音楽を対象とした検索クエリを用い、56件の関連論文を抽出。
• AI-AMGシステムを4つのアルゴリズム系統（ルールベース、データ駆動、最適化、ハイブリッド）に分類。
• AI-AMGシステムにおけるTEI、AMG、EEの構成要素と相互作用を分析。
• アルゴリズムベースおよび人間研究を含む評価手法を論じ、知覚情動と誘発情動の区別を明確化。

実験結果

リサーチクエスチョン

• RQ1 AIベースの感情的音楽を生成するために用いられるコアなアルゴリズム的アプローチは何か（ルールベース、データ駆動、最適化、ハイブリッド）？
• RQ2 AI-AMGシステムで感情表現をどのような音楽的特徴を操作して実現するか？
• RQ3 AI-AMGシステムは感情表現性をどのように評価されるべきか（知覚情動 vs 誘発情動および方法論的アプローチ）？
• RQ4 AI-AMGにおける現在の課題と未解決の問題は何か、また今後の方向性はどのように提案されているか？
• RQ5 2015年以降、方法論と応用の面でこの分野はどのように進化してきたか？

主な発見

• 56件のうち21件がデータ駆動型手法を用いており（うち17件はニューラルネットワークベース、4件はマルコフモデルベース）、
• ルールベースの手法は18件に見られ、感情表現のための単純なルールセットから複雑なルールセットまで含まれる。
• 最適化法は7件、ハイブリッドは10件。
• AI-AMGシステムは一般的にTarget Emotion Identification（TEI）、Affective Music Generation（AMG）、Emotion Evaluation（EE）の構造に基づく。
• 感情評価はアルゴリズム的指標または人間の研究を通じて行われ、知覚情動と誘発情動の測定および生理データなどのモダリティが考慮されることがある。