[論文レビュー] MuseGAN: Symbolic-domain Music Generation and Accompaniment with Multi-track Sequential Generative Adversarial Networks

Hao‐Wen Dong, Wen-Yi Hsiao+2 more|arXiv (Cornell University)|Sep 19, 2017

Music Technology and Sound Studies参考文献 17被引用数 31

ひとこと要約

本稿では、ポップ/ロック音楽の127,731バーデータを用いて学習された、3種類のGAN変種（ジャミング、コンposer、ハイブリッドモデル）を用いた、マルチトラック記号的音楽生成フレームワークであるMuseGANを提案する。本モデルは、初期状態から一貫性のある4小節の音楽を生成可能であり、人間が提供したピアノラインから伴奏トラックを生成することで、人間とAIの共同作業を可能にする。

ABSTRACT

Generating music has a few notable differences from generating images and videos. First, music is an art of time, necessitating a temporal model. Second, music is usually composed of multiple instruments/tracks, with close interaction with one another. Each track has its own temporal dynamics, but collectively they unfold over time interdependently. Lastly, for symbolic domain music generation, the targeted output is sequences of discrete musical events, not continuous values. In this paper, we propose and study three generative adversarial networks (GANs) for symbolic-domain multi-track music generation, using a data set of 127,731 MIDI bars of pop/rock music. The three models, which differ in the underlying model assumption and accordingly the network architecture, are referred to as the jamming model, composer model, and hybrid model, respectively. We propose a few intra-track and inter-track objective metrics to examine and compare their generation result, in addition to a subjective evaluation. We show that our models can learn from the noisy MIDI files and generate coherent music of four bars right from scratch (i.e. without human inputs). We also propose extensions of our models to facilitate human-AI cooperative music creation: given the piano track composed by human we can generate four additional tracks in return to accompany it.

研究の動機と目的

• 時間的およびトラック間の依存関係を考慮した一貫性のあるマルチトラック記号的音楽の生成という課題に対処すること。
• 出力が連続値ではなく離散的な音楽的イベントである記号的音楽ドメインに特化した深層生成モデルの開発。
• 人間が作成したピアノメロディを入力として、AIが補足的なトラックを生成することで、人間とAIの共同音楽創作を可能にすること。
• 音楽生成の質を定量的に評価するためのトラック内およびトラック間のメトリクスを設計・評価すること。

提案手法

• マルチトラック音楽生成を目的とした、アーキテクチャ的仮定と学習目的が異なる3種類のGANベースのアーキテクチャ（ジャミング、コンposer、ハイブリッドモデル）を提案する。
• ポップ/ロック音楽の127,731バーデータを含むデータセットを用い、ノイズの多いMIDIファイルを用いて、現実世界の不完全さに耐えうる一般化を学習させる。
• 生成器ネットワークがマルチトラック音楽シーケンスを生成し、識別器が時間的およびトラック間の一貫性を評価する、逐次的生成敵対フレームワークを採用する。
• 個々のトラックの質を評価するためのトラック内メトリクス（例：ノートシーケンスの一貫性）と、調性的・リズミックな調整を評価するためのトラック間メトリクスを導入する。
• 条件付き生成を拡張：人間が作成したピアノトラックを入力として、4つの追加楽器トラックを伴奏として生成する。
• 定量的メトリクスと主観的評価の両方を用いて、3つのアーキテクチャ間でのモデル性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、人間の入力なしにランダムノイズから一貫性のある4小節の記号的音楽シーケンスを生成できるか？
• RQ2 ジャミング、コンposer、ハイブリッドモデルという異なるアーキテクチャ的仮定が、マルチトラック音楽生成の質と調整にどのように影響するか？
• RQ3 ノイズの多い現実世界のMIDIファイルから学習したモデルは、それでも音楽的に妥当な出力を生成できる程度に一般化できるか？
• RQ4 与えられたピアノメロディから補足的なトラックを生成することで、モデルは人間とAIの共同音楽創作を効果的に支援できるか？

主な発見

• 提案されたMuseGANモデルは、ランダムノイズから一貫性のある4小節の音楽シーケンスを生成でき、GANを用いたエンドツーエンドの記号的音楽生成の実現可能性を示している。
• ハイブリッドモデルは定量的メトリクスおよび主観的評価の両方で、ジャミングモデルおよびコンポーザーモデルを上回り、優れたトラック間調整と音楽的一致性を示している。
• モデルはノイズの多いMIDIファイルに対しても良好に一般化し、データの不完全さにもかかわらず意味のある音楽的パターンを学習している。
• 条件付き生成により、人間とAIの共同作業が効果的に可能となった：人間が作成したピアノトラックを入力として、4つの追加楽器に対して音楽的に妥当な伴奏トラックを生成した。