[論文レビュー] A Survey on Artificial Intelligence for Music Generation: Agents, Domains and Perspectives

Carlos Hernandez-Olivan, Javier Hernandez-Olivan+1 more|arXiv (Cornell University)|Oct 25, 2022

Music Technology and Sound Studies被引用数 7

ひとこと要約

本調査では、データセット、モデル、インターフェース、ユーザー、生成音楽といった関与するエージェントを検討することで、AI駆動音楽生成の包括的分析を提供する。また、人間とAIの作曲プロセスを比較し、長期的音楽モデリング、評価、バイアスに関する主な課題を特定し、マルチモーダル学習、効率的な音楽符号化、音楽創作物に一般化可能なAIフレームワークといった今後の研究分野を提案する。

ABSTRACT

Music is one of the Gardner's intelligences in his theory of multiple intelligences. How humans perceive and understand music is still being studied and is crucial to develop artificial intelligence models that imitate such processes. Music generation with Artificial Intelligence is an emerging field that is gaining much attention in the recent years. In this paper, we describe how humans compose music and how new AI systems could imitate such process by comparing past and recent advances in the field with music composition techniques. To understand how AI models and algorithms generate music and the potential applications that might appear in the future, we explore, analyze and describe the agents that take part of the music generation process: the datasets, models, interfaces, the users and the generated music. We mention possible applications that might benefit from this field and we also propose new trends and future research directions that could be explored in the future.

研究の動機と目的

• データセット、モデル、インターフェース、ユーザー、生成音楽といった主要なエージェントを特定・分析することで、AI音楽生成の現状を分析すること。
• 創造性、認識、構造的理解の観点から、人間とAIの作曲プロセスの類似点と重要な相違点を明らかにすること。
• 特に長期的シーケンスモデリング、評価フレームワーク、バイアス分析の分野におけるAI音楽生成の主な研究ギャップを特定すること。
• 一般化可能なAIモデル、改善されたユーザーインターフェース、効率的な音楽符号化の開発を含む、今後の研究分野を提案すること。
• 音楽分析と生成を統合した包括的でマルチモーダルなAIシステムを提唱し、ユーザーが条件づけ可能な柔軟な共同創造を支援すること。

提案手法

• RNN、Transformers、GNNsといったアーキテクチャに焦点を当てた、音楽生成における深層学習と記号的AIの最新進展の体系的レビューと分析。
• 音声と記号的表現を統合することで音楽理解と生成を向上させるマルチモーダル深層学習アプローチの検討。
• 既存のデータセット、モデル、インターフェースの調査を行い、その制限とバイアスに重点を置く。
• 自動コード認識や音声楽器分類といった関連するMIR分野の知見を統合し、生成モデルの条件付けと制御を改善すること。
• GATOのようなモデルをインspirationとして、記号的ルールと深層学習を組み合わせることで、より人間らしい作曲を実現する一般化AIフレームワークの提案。
• 音楽品質を評価するための現在の指標と手法の評価、客観的および主観的両方のアプローチの検討、再現可能性の課題の特定。

実験結果

リサーチクエスチョン

• RQ1 構造、創造性、認識の観点から、人間の音楽作曲プロセスとAIベースの音楽生成プロセスはどのように比較できるか？
• RQ2 AI音楽生成パイプラインに関与する主要なエージェントは何か。それらのバイアスは最終出力にどのように影響するか？
• RQ3 なぜ音楽シーケンスの長期的モデリングはまだ課題のままなのか。その解決に向けたアーキテクチャ的・符号化的改善策は何か？
• RQ4 共同創造的音楽生成を支援するため、ユーザーインターフェースと人間-コンピュータインタラクションをどのように向上できるか？
• RQ5 音楽の分析と生成を両方行える一般化可能でマルチモーダルなAIシステムを構築するにあたり、最も有望な今後の研究分野は何か？

主な発見

• 現在のAIモデルは、より長い整合性のある構成の基盤となる高品質な音楽モチーフの生成に苦労しており、短いシーケンス生成における重要なギャップを示している。
• 音高と時間の二重依存性が要因で、音楽の長期的モデリングは依然として未解決の課題であり、より洗練されたアーキテクチャと符号化が求められる。
• AI生成音楽のための標準的で一般化可能な評価フレームワークが不足しており、既存の指標はしばしば音楽的品質や一貫性を捉えられていない。
• 既存のデータセットとモデルには顕著なバイアスが見られ、特に西洋的・ポップ音楽ジャンルに偏っているため、AI音楽システムの多様性と一般化能力が制限されている。
• 記号的AIルール（例：コード進行、ボイス・リーディング）を深層学習モデルと統合することで、構造的整合性と音楽的完成度の向上が期待できる。
• 今後のAI音楽システムは、分析と生成を統合したマルチモーダルで一般化可能なアーキテクチャへと進化すべきであり、ユーザーが条件づけ可能な柔軟な共同創造を可能にする。