[論文レビュー] A Review of Intelligent Music Generation Systems

Lei Wang, Ziyi Zhao+4 more|arXiv (Cornell University)|Nov 16, 2022

Music and Audio Processing被引用数 6

ひとこと要約

本論文は、深層学習およびルールベースのモデルを用いた記号的音楽生成に焦点を当て、最先端の知能音楽生成システムをレビューする。生成技術の分析、モデル性能の評価、東西音楽伝統の比較、およびマルチモーダル生成、感情表現、人間-AI協働による音楽作曲分野における今後の動向を特定する。

ABSTRACT

With the introduction of ChatGPT, the public's perception of AI-generated content (AIGC) has begun to reshape. Artificial intelligence has significantly reduced the barrier to entry for non-professionals in creative endeavors, enhancing the efficiency of content creation. Recent advancements have seen significant improvements in the quality of symbolic music generation, which is enabled by the use of modern generative algorithms to extract patterns implicit in a piece of music based on rule constraints or a musical corpus. Nevertheless, existing literature reviews tend to present a conventional and conservative perspective on future development trajectories, with a notable absence of thorough benchmarking of generative models. This paper provides a survey and analysis of recent intelligent music generation techniques, outlining their respective characteristics and discussing existing methods for evaluation. Additionally, the paper compares the different characteristics of music generation techniques in the East and West as well as analysing the field's development prospects.

研究の動機と目的

• 近年の知能音楽生成システム、特に記号的音楽生成分野における最新の進展を体系的にレビューすること。
• 音楽作曲における既存の生成モデルおよび評価手法の長所と短所を分析すること。
• 東西音楽伝統における音楽生成の発展経路を比較すること。
• マルチモーダル生成、感情表現、人間-AI連携といった、主な課題と今後の研究方向性を同定すること。
• AI音楽生成に関する先行研究において、包括的なベンチマークと標準化された評価が不足しているという問題を解決すること。

提案手法

• 生成手法に基づいて音楽生成システムを分類し、深層学習、ルールベースのシステム、進化的計算を含む。
• MIDIイベント、ピアノロール、楽譜、音声といった主要な音楽表現形式をレビューし、記号的音楽モデリングに用いる。
• 音楽生成研究で用いられる評価指標およびベンチマークを分析し、標準化されたデータセットと評価プロトコルの必要性を強調する。
• テキスト、音楽、動画を統合するマルチモーダル生成アプローチを検討し、クロスモーダル特徴融合に焦点を当てる。
• 感情計算とロボット工学の統合を検討し、感情表現に富んだ音楽生成とインタラクティブなパフォーマンスを実現する。
• 今後の深層学習ベースの音楽生成システムの設計における解釈可能性と制御可能性を、主要な目的として評価する。

実験結果

リサーチクエスチョン

• RQ1 現代の記号的音楽生成システムで用いられる主な技術およびアーキテクチャは何か？
• RQ2 東西音楽伝統における音楽生成モデルは、表現形式、構造、文化的統合の観点でどのように異なるか？
• RQ3 音楽生成モデルの評価における現在の制限は何であり、標準化されたベンチマークが信頼性を向上させうるか？
• RQ4 感情表現はAI生成音楽において果たす役割は何か？感情計算が音楽の真正性をどのように向上させうるか？
• RQ5 マルチモーダル生成やロボットパフォーマンスといった今後の方向性の中で、知能音楽作曲の発展に最も期待が寄せられるのはどれか？

主な発見

• 長期間にわたる構造的依存関係を捉えることができる深層生成モデルの発展により、記号的音楽生成は著しく進歩した。
• 現在のシステムはモノフォニックおよびポリフォニックメロディ生成において優れた性能を示すが、複雑で文化的に特徴的な民族楽器の生成には課題を抱えている。
• 音楽、歌詞、動画を同時に生成するマルチモーダル音楽生成は、将来的な重要な方向性であるが、高度なクロスモーダル特徴融合を要する。
• AI生成音楽における感情表現はまだ未発達であり、多くのシステムが信号ベースの分析に依存しているが、人間中心の感情モデリングには至っていない。
• 深層ニューラルネットワークの解釈可能性と制御可能性は、音楽創作分野における実用的導入のための重要な優先事項として浮上している。
• MIDI、ピアノロールなどの標準化されたデータフォーマット、評価指標、ベンチマークデータセットは、分野の信頼性ある比較と進展に不可欠である。