[論文レビュー] From Artificial Neural Networks to Deep Learning for Music Generation -- History, Concepts and Trends

Jean-Pierre Briot|arXiv (Cornell University)|Apr 7, 2020

Music and Audio Processing参考文献 54被引用数 11

ひとこと要約

この論文は、1980年代後半の初期の人工ニューラルネットワークから現代のアーキテクチャに至るまで、音楽生成におけるディープラーニングの発展を網羅的に解説するチュートリアルを提供している。現在のシステムを分類するための概念的枠組みを提示し、主なアーキテクチャーや表現戦略を分析するとともに、制御、構造、創造性、相互作用性に関する未解決の課題を議論し、音楽作曲における人間とAIの協働を提唱している。

ABSTRACT

The current wave of deep learning (the hyper-vitamined return of artificial neural networks) applies not only to traditional statistical machine learning tasks: prediction and classification (e.g., for weather prediction and pattern recognition), but has already conquered other areas, such as translation. A growing area of application is the generation of creative content, notably the case of music, the topic of this paper. The motivation is in using the capacity of modern deep learning techniques to automatically learn musical styles from arbitrary musical corpora and then to generate musical samples from the estimated distribution, with some degree of control over the generation. This paper provides a tutorial on music generation based on deep learning techniques. After a short introduction to the topic illustrated by a recent exemple, the paper analyzes some early works from the late 1980s using artificial neural networks for music generation and how their pioneering contributions have prefigured current techniques. Then, we introduce some conceptual framework to analyze the various concepts and dimensions involved. Various examples of recent systems are introduced and analyzed to illustrate the variety of concerns and of techniques.

研究の動機と目的

• 音楽生成におけるディープラーニング技術のチュートリアルを提供し、歴史的基盤と最新の進展をつなぐ。
• 1980年代後半のパイオニア的ニューラルネットワークベースの音楽生成システムを分析し、現代のアプローチに与えた影響を明らかにする。
• アーキテクチャ、表現、制御メカニズムに基づいて、多様なディープラーニングベースの音楽生成システムを分類するための概念的枠組みを導入する。
• 構造的整合性、創造性、相互作用性といった、AI生成音楽における主な課題を検討する。
• 完全に自律的なシステムではなく、段階的かつ相互作用的な生成を重視する人間-AI協働型音楽作曲を提唱する。

提案手法

• 1980年代後半のルールベースおよびマルコフ連鎖ベースのシステムから、現代のディープニューラルネットワークに至るまでの音楽生成の歴史的系譜をたどる。
• 表現（例：記号的、音声、トークン化）、アーキテクチャ（例：RNN、トランスフォーマー、VAE、GAN）、制御メカニズムに基づいた、音楽生成システムの分類法を導入する。
• C-RBMによる条件付き生成、Music-VAEによる階層的構造、MusicTransformerによるアテンションベースのモデリングといった、特定のアーキテクチャを分析する。
• 入力条件（例：Anticipation-RNN）、出力制約（例：C-RBM）、強化学習（例：RL Tuner）といった、制御を向上させるための条件付け戦略を検討する。
• 自己符号化器と生成モデルを組み合わせたような、複数のコンponentsを統合するハイブリッド・コンパoundアーキテクチャを検討し、サンプル品質と構造的整合性の向上を図る。
• 表現、アーキテクチャ、制御の相互作用を理解するための概念的枠組みを提唱する。

実験結果

リサーチクエスチョン

• RQ1 1980年代後半に登場した初期のニューラルネットワークアプローチは、どのように現代のディープラーニングベースの音楽生成の基盤を築いたのか？
• RQ2 現代のディープラーニングベースの音楽生成システムを区別する主なアーキテクチャ的および表現的次元は何か？
• RQ3 音楽的制約（例：調性、リズム、形式）を満たすために、制御を効果的にディープ生成モデルに統合するにはどうすればよいか？
• RQ4 AI生成音楽に構造的整合性と長期的な音楽的魅力を高めるには、どのような戦略が有効か？
• RQ5 AI生成モデルが人間の創造性を代替するのではなく、相互作用的で人間-AI協働型の音楽作曲を支援するように設計するには、どのような方法があるか？

主な発見

• 1980年代後半に開発されたボルツマンマシンを用いた初期のニューラルネットワークシステムは、データから音楽的スタイルを学習する可能性を示し、現代のディープラーニングの原型をなした。
• 条件付きアーキテクチャ（例：C-RBM）は、調性やリズムといった音楽的制約を条件として与えることで、望ましい音楽的性質に一致する生成を可能にし、制御性を向上させる。
• 階層的アーキテクチャ（例：Music-VAE）は、音楽を複数の抽象レベルでモデル化することで、より長く構造的に整合性のある作品の生成を可能にする。
• トランスフォーマーとアテンションベースのモデル（例：MusicTransformer）は、音楽における長距離依存関係を効果的にモデル化し、より表現的で整合性のある生成を実現する点で最先端のパフォーマンスを達成している。
• 強化学習アプローチ（例：RL Tuner）は、フィードバック信号を通じて生成を最適化でき、複雑でユーザー定義の目的を満たす音楽の生成を学習可能にする。
• 技術的進歩にもかかわらず、現在のモデルはしばしば長時間にわたりスタイルは一貫しているが構造的に単調になりがちであり、より優れた構造的誘導機構の必要性が浮き彫りになっている。