[論文レビュー] Music Composition with Deep Learning: A Review

Carlos Hernandez-Olivan, Jose R. Beltran|arXiv (Cornell University)|Aug 27, 2021

Music Technology and Sound Studies被引用数 4

ひとこと要約

この論文は、VAE、GAN、LSTM、Transformerのアーキテクチャ分析を通じて、AIが生成する音楽と人間の創造性を比較する深層学習（DL）手法についてレビューしている。構造的整合性、創造性の評価、スタイルの一般化といった主な課題を特定し、今後の研究のための改善された主観的指標と、インタラクティブでエンドツーエンドのモデルを提言している。

ABSTRACT

Generating a complex work of art such as a musical composition requires exhibiting true creativity that depends on a variety of factors that are related to the hierarchy of musical language. Music generation have been faced with Algorithmic methods and recently, with Deep Learning models that are being used in other fields such as Computer Vision. In this paper we want to put into context the existing relationships between AI-based music composition models and human musical composition and creativity processes. We give an overview of the recent Deep Learning models for music composition and we compare these models to the music composition process from a theoretical point of view. We have tried to answer some of the most relevant open questions for this task by analyzing the ability of current Deep Learning models to generate music with creativity or the similarity between AI and human composition processes, among others.

研究の動機と目的

• AIを用いた音楽生成と人間の作曲的創造性の関係を分析すること。
• VAE、GAN、LSTM、Transformerなどの深層学習アーキテクチャの有効性を、音楽的に整合的で創造的な作品の生成という観点から評価すること。
• 構造的整合性、創造性の評価、音楽的スタイルへの一般化といった、音楽生成における未解決の課題を特定すること。
• 現在のデータセットの制限を検討し、DLモデルにおける転移学習とスタイル制御の向上の必要性を明らかにすること。
• 今後の研究の方向性として、インタラクティブなAI・作曲家協働モデルとエンドツーエンドの音楽生成システムを提案すること。

提案手法

• VAE、GAN、LSTM、Transformerに焦点を当てた、音楽生成分野における最先端の深層学習モデルを調査した。
• VAEにおける潜在空間学習、GANにおける敵対的訓練、Transformerにおけるアテンションメカニズムといったアーキテクチャ的要素を分析した。
• 客観的指標（例：対数尤度、n-gramの正確性）と主観的聴取テストの両方を用いてモデルのパフォーマンスを評価した。
• 事前学習済みNLPモデル（例：Transformer）をシンボリック音楽データに微調整することで、転移学習戦略を検討した。
• 一貫性のある人間による評価を高めるために、MuseGANの特徴ベース評価システムのような標準化された主観的評価フレームワークの導入を提言した。
• 長期的な音楽的構造と和声のモデリングに影響を与えるアーキテクチャ的およびトレーニング設計の選択について検討した。

実験結果

リサーチクエスチョン

• RQ1 現在の深層学習モデルは、人間の作曲と同等の構造的整合性と和声的複雑さを示す音楽をどの程度生成できるか？
• RQ2 VAE、GAN、LSTM、Transformerにおける設計選択が、生成音楽の創造性と多様性にどのように影響するか？
• RQ3 既存の評価手法には、AIが生成する音楽の創造性と質を測るうえでのどのような限界があるか？
• RQ4 既存のデータセットに最も多く含まれる音楽ジャンルを超えて一般化を可能にするために、転移学習とスタイル制御をどのように改善できるか？
• RQ5 インタラクティブで人間とAIが協働するモデルは、エンドツーエンドで創造的な作曲に向けた音楽生成をどのように進展させるか？

主な発見

• TransformerとNLPにインspiredされたアーキテクチャは、シンボリック音楽シーケンスにおける長距離依存関係をモデル化できるため、音楽生成において優れたパフォーマンスを示している。
• VAEとGANは、音楽的特徴の分離され意味のある潜在表現を学習する可能性を示しているが、長期的な整合性に課題を抱えていることが多い。
• 現在の客観的評価指標は研究間で一貫性がなく、主観的評価のための統一された基準も存在しないため、比較可能性が制限されている。
• 聴取テストは、音楽的創造性や構造の繊細な側面を捉えることができない場合が多く、依然として質の評価の主な手段である。
• 限定的なデータセット（例：JSB Chorales、Lakh MIDI）で学習したモデルは、代表されていないジャンルやスタイルへの一般化が著しく劣っており、多様な訓練データとより良い転移学習の必要性が浮き彫りになった。
• 今後のモデルは、エンドツーエンドの生成とインタラクティブ設計に注力すべきであり、作曲家が芸術的コントロールと独自性を保ちながらAIと共同で創作できる仕組みを実現すべきである。