[論文レビュー] A Survey of AI Music Generation Tools and Models

Yueyue Zhu, Jared Baca+2 more|arXiv (Cornell University)|Aug 24, 2023

Music Technology and Sound Studies被引用数 4

ひとこと要約

本調査では、AI音楽生成ツールおよびモデルの包括的分析を提供し、パラメータベース、テキストベース（プロンプト駆動）、ビジュアルベースのアプローチに分類している。それらの機能、制限、および裏側のメカニズムを評価し、初心者からプロフェッショナルに至る多様なユーザー層における透明性、カスタマイズ性、および使いやすさに重点を置いている。

ABSTRACT

In this work, we provide a comprehensive survey of AI music generation tools, including both research projects and commercialized applications. To conduct our analysis, we classified music generation approaches into three categories: parameter-based, text-based, and visual-based classes. Our survey highlights the diverse possibilities and functional features of these tools, which cater to a wide range of users, from regular listeners to professional musicians. We observed that each tool has its own set of advantages and limitations. As a result, we have compiled a comprehensive list of these factors that should be considered during the tool selection process. Moreover, our survey offers critical insights into the underlying mechanisms and challenges of AI music generation.

研究の動機と目的

• AI音楽生成ツールおよびモデルの体系的サーベイを提供し、その機能性とユーザーへのアクセス可能性に焦点を当てる。
• 音楽生成アプローチを3つのカテゴリーに分類する：パラメータベース、テキストベース（プロンプト駆動）、ビジュアルベースの手法。
• オープンソースおよび商業用AI音楽ツールの強みと制限を評価する。特に、透明性、カスタマイズ性、音声品質の観点から。
• AI音楽生成における主な課題、すなわち独自性の欠如、長尺な一貫性、モデルの解釈可能性の欠如を特定する。
• ユーザーの音楽的ニーズ、技術的熟練度、制御の程度に応じて適切なツールを選定する手がかりを提供する。

提案手法

• AI音楽生成ツールを3つのクラスに分類：パラメータベース（例：Mubert, Boomy）、テキストベース（例：SongR, Aiva.ai）、ビジュアルベース（例：動画からMIDIへの変換モデル）。
• パブリックデモ、ドキュメンテーション、技術的説明に基づいてツールを収集・分析し、モデルの透明性とユーザーインターフェース設計に注目した。
• 柔軟性のある音楽編集、複数楽器のサポート、ソフトウェアシンセサイザーとの統合といった基準を用いてモデルを評価した。
• シーケンス生成に適したニューラルアーキテクチャ、例えばMusicVAE、TransformerVAE、および拡散モデル（例：Denoising Diffusion Probabilistic Models）を検討した。
• パフォーマンス動画からのボディキーポイントを用いてMIDI表現を推定するビジュアルベースモデルを分析し、動画駆動音楽生成を可能にする。
• MIDIを解釈可能な中間表現として位置づけ、合成前の後処理編集を可能にする役割を評価した。

実験結果

リサーチクエスチョン

• RQ1 パラメータベース、テキストベース、ビジュアルベースのAI音楽生成ツールは、機能性、ユーザー制御、出力品質においてどのように異なるか？
• RQ2 商業用AI音楽ツールの主な技術的および使いやすさの制限は何か。特に、透明性とモデルの説明可能性の観点から。
• RQ3 AIが生成する音楽が、より長い構成においても音楽的一貫性とスタイルの一貫性を保てる程度はどの程度か？
• RQ4 VAE、Transformer、拡散モデルなどの異なるモデルアーキテクチャは、生成音楽の品質および創造性にどのように影響を与えるか？
• RQ5 MIDI表現は、AI音楽生成における解釈可能性と後処理の柔軟性を高める役割を果たすか？

主な発見

• Mubert や Boomy といったパラメータベースのツールは、気分、ジャンル、テンポなどのユーザー定義パラメータを通じて迅速な音楽生成を可能にするが、深いつくりのカスタマイズやモデルの透明性に欠けることが多い。
• テキストベースおよびプロンプト駆動モデル（特に拡散アーキテクチャを用いるもの）は、より洗練された音楽的構成を生成するが、楽器選択や編成の柔軟性に欠けることがある。
• ビジュアルベースのモデルは、パフォーマンス動画からのボディキーポイントを用いてMIDI表現にマッピングすることに成功し、解釈可能で編集可能な出力を得る動画駆動音楽生成を実現している。
• 進展は見られるが、多くのモデルは一貫したモチーフや構造的方針を伴う長尺な音楽を生成するのに苦労しており、長期的な一貫性の維持が主な課題である。
• MIDIベースの出力は高い解釈可能性と編集可能性を提供するが、音声波形を出力するには外部のソフトウェアシンセサイザーが必要であり、ワークフローに複雑さをもたらす。
• 商業ツールはしばしばその背後にあるモデルアーキテクチャを曖昧にしているため、再現性や包括的な評価が制限され、特に技術的洞察を求める研究者にとって困難である。