[論文レビュー] Learning Style-Aware Symbolic Music Representations by Adversarial Autoencoders

Andrea Valenti, Antonio Carta+1 more|arXiv (Cornell University)|Jan 15, 2020

Music and Audio Processing参考文献 21被引用数 8

ひとこと要約

本論文では、ジャンル条件付きガウス・ミックスチャージ・プライアを用いて、分離可能でスタイルに配慮した記号的音楽表現を学習する、音楽特化型の敵対的オートエンコーダー MusAE を提案する。従来の最先端のVAEよりも高い再構成精度を達成し、音楽的シーケンス間の滑らかで意味のある補間を可能にするとともに、低レベル特徴と高レベルのジャンル情報の両方に従って潜在空間を整理する。

ABSTRACT

We address the challenging open problem of learning an effective latent space for symbolic music data in generative music modeling. We focus on leveraging adversarial regularization as a flexible and natural mean to imbue variational autoencoders with context information concerning music genre and style. Through the paper, we show how Gaussian mixtures taking into account music metadata information can be used as an effective prior for the autoencoder latent space, introducing the first Music Adversarial Autoencoder (MusAE). The empirical analysis on a large scale benchmark shows that our model has a higher reconstruction accuracy than state-of-the-art models based on standard variational autoencoders. It is also able to create realistic interpolations between two musical sequences, smoothly changing the dynamics of the different tracks. Experiments show that the model can organise its latent space accordingly to low-level properties of the musical pieces, as well as to embed into the latent variables the high-level genre information injected from the prior distribution to increase its overall performance. This allows us to perform changes to the generated pieces in a principled way.

研究の動機と目的

• 生成モデルにおける記号的音楽データのための効果的で分離可能な潜在空間を学習する課題に対処すること。
• 標準的な変分オートエンコーダー（VAE）を改善するために、KLダイバージェンスの代わりに敵対的正則化を採用し、プライア分布の選択に柔軟性をもたせること。
• メタデータにインスパイアされたプライアを用いて、原理的かつ一貫した方法で高レベルの音楽ジャンルやスタイル情報を潜在空間に埋め込むこと。
• 特定の潜在要因を変更することで、望ましい音楽的性質に影響を与える、直感的で制御可能な音楽編集を可能にすること。

提案手法

• モデルは、楽譜を潜在ベクトルにマッピングするエンコーダーと、楽譜を再構成するデコーダーを持つ、再帰型敵対的オートエンコーダー（AAE）アーキテクチャを採用する。
• 標準的なガウス分布プライアの代わりに、音楽メタデータ（例：ジャンル）に条件付けられたガウス・ミックスチャージ・プライアを採用し、潜在空間の分布をガイドする。
• 敵対的訓練により、潜在コードの分布が学習されたジャンル条件付きプライアと一致するように強制することで、分離性と現実性が向上する。
• 再構成損失と敵対的損失を用いて、エンド・トゥ・エンドで訓練することで、高精細な生成と補間が可能になる。
• 潜在空間の分離性は、PCAおよびt-SNEのプロットを用いて評価され、ロックとパンクのようなジャンル間で明確な分離が示された。
• 特定の潜在要因（例：ノート密度やジャンルスタイル）を変更することで、音楽的整合性を保ちつつ、制御可能な生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ジャンルに配慮したプライアを用いた敵対的正則化は、変分オートエンコーダーにおける記号的音楽表現の品質と分離性を向上させるか？
• RQ2 音楽オートエンコーダーの潜在空間は、低レベルの音楽的特徴と高レベルのジャンル情報の両方を効果的に符号化できるか？
• RQ3 潜在空間内で音楽的シーケンスの間の滑らかで知覚的に意味のある補間を達成できるか？
• RQ4 潜在空間は、直感的で性質に特化した編集が可能なように、どの程度構造化できるか？
• RQ5 固定プライアを用いた標準的なVAEよりも、再構成精度が高く、同時にサンプル品質を維持できるか？

主な発見

• MusAEは、最先端のVAEベースのモデルよりも大規模なベンチマークで高い再構成精度を達成し、モデルの表現能力が向上していることを示している。
• 音楽的シーケンス間の潜在空間補間は滑らかで知覚的に整合的であり、穴のない適切に構造化された潜在空間であることを示している。
• PCAおよびt-SNEの可視化により、潜在空間が低レベルの音楽的性質と高レベルのジャンル的差異（例：パンクとロックの明確な分離）に従って整理されていることが確認された。
• プライア分布を通じて、ジャンル情報が潜在変数に原理的かつ一貫して埋め込まれており、適切なスタイル転送と編集が可能になっている。
• ジャンルに条件付けられたガウス・ミックスチャージ・プライアの使用は、固定プライアを用いた標準的なVAEと比較して、モデル性能を顕著に向上させた。
• ノート密度の調整やジャンルスタイルのシフトといった特定の潜在要因を変更することで、音楽的整合性を保ちつつ、制御可能な生成が可能になっている。