[論文レビュー] MIDI-Sandwich: Multi-model Multi-task Hierarchical Conditional VAE-GAN networks for Symbolic Single-track Music Generation

Xia Liang, Junmin Wu+1 more|arXiv (Cornell University)|Jul 2, 2019

Music and Audio Processing参考文献 7被引用数 6

ひとこと要約

本論文は、形式、ドミナント、メロディック・モーションなどの音楽的知識を統合する、マルチモデル・マルチタスクの階層的条件付きVAE-GANフレームワークであるMIDI-Sandwichを提案する。First and Last Notes（FLN）制約と2段階のアーキテクチャ（バーレベル生成のためのLocal CVAEと構造的制御のためのGlobal VAE）を用いることで、17×8拍（136拍）に達する一貫性があり、構造的で方向性のあるメロディを生成し、従来のモデルに比べて構造的整合性とメロディック整合性が向上する。

ABSTRACT

Most existing neural network models for music generation explore how to generate music bars, then directly splice the music bars into a song. However, these methods do not explore the relationship between the bars, and the connected song as a whole has no musical form structure and sense of musical direction. To address this issue, we propose a Multi-model Multi-task Hierarchical Conditional VAE-GAN (Variational Autoencoder-Generative adversarial networks) networks, named MIDI-Sandwich, which combines musical knowledge, such as musical form, tonic, and melodic motion. The MIDI-Sandwich has two submodels: Hierarchical Conditional Variational Autoencoder (HCVAE) and Hierarchical Conditional Generative Adversarial Network (HCGAN). The HCVAE uses hierarchical structure. The underlying layer of HCVAE uses Local Conditional Variational Autoencoder (L-CVAE) to generate a music bar which is pre-specified by the First and Last Notes (FLN). The upper layer of HCVAE uses Global Variational Autoencoder(G-VAE) to analyze the latent vector sequence generated by the L-CVAE encoder, to explore the musical relationship between the bars, and to produce the song pieced together by multiple music bars generated by the L-CVAE decoder, which makes the song both have musical structure and sense of direction. At the same time, the HCVAE shares a part of itself with the HCGAN to further improve the performance of the generated music. The MIDI-Sandwich is validated on the Nottingham dataset and is able to generate a single-track melody sequence (17x8 beats), which is superior to the length of most of the generated models (8 to 32 beats). Meanwhile, by referring to the experimental methods of many classical kinds of literature, the quality evaluation of the generated music is performed. The above experiments prove the validity of the model.

研究の動機と目的

• 短い音楽バーや短い音楽断片を直接接続する従来のニューラル音楽生成モデルが、音楽的形式や方向性に欠けるという問題に対処する。
• コード進行やマルチトラックデータに依存するのを減らし、シングルメロディ生成の制約としてFirst and Last Notes（FLN）を用いることで、より少ないデータで生成を可能にする。
• ドミナント、メロディック・モーション、構造的フォームといった音楽的知識を、より一貫性があり音楽的に意味のある出力を得るための深層生成モデルに統合する。
• 局所的（バーレベル）とグローバル（楽曲レベル）の音楽生成を統合的に学習できるマルチモデル・マルチタスクアーキテクチャを構築し、共通部品を用いることで効率性と性能を向上させる。
• コードに基づく監視に依存せず、トーナル安定性と構造的一致性を保ちながら、最大17×8拍の長大で一貫性のあるシングルトラックメロディを生成可能にする。

提案手法

• HCVAE（階層的条件付きVAE）とHCGAN（階層的条件付きGAN）の2つの主要サブモデルを共有部品を含んで統合的に最適化する階層的アーキテクチャを提案する。
• 下位レイヤーで局所的条件付きVAE（L-CVAE）を用い、First and Last Notes（FLN）を条件としてバーレベルの音楽バーや短い音楽断片を生成し、トーナルおよびメロディックな一貫性を確保する。
• 上位レイヤーでグローバルVAE（G-VAE）を用い、L-CVAEの潜在ベクトル系列をモデル化し、グローバルな音楽的関係性を捉え、楽曲全体の構造的流れを制御する。
• HCGANのためのL-CVAEのデコーダーと、エンコーダーおよびCNN層の一部を共有することで、敵対的学習によるサンプル品質の向上を実現する。
• まずHCVAEを用いて局所的およびグローバルな構造学習を実施し、その後HCGANで微調整することで、生成音楽の現実性と知覚的品質を向上させる。
• コード進行に依存せず、FLNを制御メカニズムとして用いることで、最小限のシングルメロディデータセットで学習可能にし、トーナル安定性とメロディック・モーションを維持する。

実験結果

リサーチクエスチョン

• RQ1 階層的条件付きVAE-GANアーキテクチャは、断片的で断絶したバーよりも、長大で一貫性があり、音楽的形式と方向性を持つシングルトラックメロディを生成できるか？
• RQ2 First and Last Notes（FLN）は、コード進行に依存せずに、音楽的に安定的かつ一貫性のあるメロディを生成するための有効な制約として機能するか、その程度はどの程度か？
• RQ3 グローバル（G-VAE）とローカル（L-CVAE）のモデリング統合は、標準的なVAEやRNNベースのモデルと比較して、生成音楽の構造的一致性とメロディック・モーションをどの程度向上させるか？
• RQ4 HCVAEとHCGAN間で共有されるコンponentsは、生成音楽の品質を向上させつつ、学習効率性とモデルの解釈可能性を維持できるか？
• RQ5 Magenta-RNN や MIDI-Net といった最先端モデルと比較して、ユーザー評価において音楽的構造、メロディ、整合性、歌唱性の面で、本モデルはどの程度のパフォーマンスを示すか？

主な発見

• MIDI-Sandwichモデルは、17×8拍（136拍）に達する長大なシングルトラックメロディを成功裏に生成し、多数の先行モデルが生成可能な8～32拍に比べて著しく長い。
• モデルはFirst and Last Notes（FLN）制約を94％の正確性で満たし、生成されたバーや短い音楽断片の間で強いトーナル安定性とメロディック・コンティニュイティが保証されている。
• ユーザー評価では、構造的整合性（3.66／5）とメロディック・モーション（3.47／5）において、Magenta-RNN、MIDI-Net、VAE-GANを上回り、全体の平均スコアは3.15／5であった。
• 潜在ベクトル解析により、類似した音楽的構造（例：繰り返し、系列）が類似した潜在表現に符号化されていることが確認され、差が千分の1未満であることが示され、潜在空間での構造モデリングの有効性が裏付けられた。
• HCGANの微調整ステップにより、メロディと整合性のスコアが向上し、知覚的品質が向上したことが実証され、敵対的フィンガーリングによる恩恵が明確に示された。
• コードベースやマルチトラックデータへの依存を減らし、メインメロディトラックとFLN制約のみを用いることで、多様なデータセットや実世界の音楽生成タスクへの応用可能性が向上した。