[論文レビュー] A Classifying Variational Autoencoder with Application to Polyphonic Music Generation

Jay A. Hennig, Akash Umakantha+1 more|arXiv (Cornell University)|Nov 19, 2017

Music and Audio Processing参考文献 25被引用数 10

ひとこと要約

本稿では、学習中に離散的な音楽の調（key）クラスを推定できる分類器を統合した分類型変分オートエンコーダー（CVAE）を提案する。これにより、特定の調に制御された複線音楽の生成が可能になる。CVAEとLSTMを組み合わせることで、特に元の調でトランスポジションを行わないデータで学習した場合、標準的なVAEよりも著しく調を保った音楽生成が可能になる。

ABSTRACT

The variational autoencoder (VAE) is a popular probabilistic generative model. However, one shortcoming of VAEs is that the latent variables cannot be discrete, which makes it difficult to generate data from different modes of a distribution. Here, we propose an extension of the VAE framework that incorporates a classifier to infer the discrete class of the modeled data. To model sequential data, we can combine our Classifying VAE with a recurrent neural network such as an LSTM. We apply this model to algorithmic music generation, where our model learns to generate musical sequences in different keys. Most previous work in this area avoids modeling key by transposing data into only one or two keys, as opposed to the 10+ different keys in the original music. We show that our Classifying VAE and Classifying VAE+LSTM models outperform the corresponding non-classifying models in generating musical samples that stay in key. This benefit is especially apparent when trained on untransposed music data in the original keys.

研究の動機と目的

• 標準的なVAEが特定のモードやクラス（例：音楽の調）からのデータ生成に限界を示す問題に対処すること。
• データのトランスポジションを必要とせず、ユーザー指定の調に制御された音楽生成を可能にすること。
• 推論時にシーケンス履歴から調を推定できるようにし、音楽家とのリアルタイム・インプロヴィゼーションを支援すること。
• 元の調データで学習した場合、標準VAEやVAE+LSTMモデルと比較して、生成音楽の調の一貫性を向上させること。
• 調を離散クラスとしてモデル化することで、順序音楽生成における再構成品質と音楽的整合性が向上することを示すこと。

提案手法

• 標準VAEに、各入力シーケンスの離散クラス（例：音楽の調）を予測する分類器ネットワークを導入する。
• クラス確率をロジスティック正規分布としてモデル化することで、確率的勾配変分ベイズによるエンドツーエンド学習に必要な再パrameterizationトリックを可能にする。
• 訓練中に再パラメータライズド勾配を用いて潜在クラス変数をサンプリングし、分類器出力へのバックプロパゲーションを可能にする。
• 認識・生成ネットワークにLSTMを統合し、複線音楽における順序的依存関係をモデル化する。
• 分類器はVAEの認識・生成ネットワークと同時に学習され、モデルが入力シーケンスの文脈から調を推定できるようにする。
• 元の調を保ったトランスポジションなしの音楽データで学習され、指定された調に条件づけたサンプル生成、もしくは文脈からの調推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 データのトランスポジションを必要とせず、音楽の調のような離散クラスを明示的にモデル化・生成できるようにVAEを拡張できるか？
• RQ2 VAEフレームワークに分類器を組み込むことで、生成される複線音楽シーケンスの調の一貫性が向上するか？
• RQ3 推論時にシーケンス履歴から調を推定できるか。これにより、音楽家とのリアルタイム・インプロヴィゼーションが可能か？
• RQ4 元の調データで学習した場合、Classifying VAE+LSTMは標準VAE+LSTMと比較して、調を保つ音楽生成で優れた性能を示すか？
• RQ5 長時間にわたるシーケンスにおいてもトーナル一貫性を保ち、高品質で整合性のある音楽サンプルを生成できるか？

主な発見

• 元の調データで学習した場合、Classifying VAE+LSTMモデルは、生成サンプルの調の一貫性が元のシードシーケンスと同等になる。
• 元の調データセットで、Classifying VAE+LSTMは標準VAE+LSTMモデルよりも調の一貫性が優れており、後者は極めて一貫性のないサンプルを生成する。
• シードシーケンスの真の調が与えられた場合、すべてのデータセットでClassifying VAE+LSTMが他のすべてのモデルを上回る調の一貫性を達成する。
• すべてのモデルにおいて、1時間刻みあたりの平均ノート数とトーンスパンがJSB Choralesテストデータの6%以内に収まっており、妥当な音楽的構造が保たれている。
• モデルは解釈可能な潜在空間を学習しており、潜在コードを固定したままクラスラベル（調）を変更すると、異なるトーナル出力が得られる。
• クラス確率にロジスティック正規分布を用いることで、混合ガウス分布やマージン化離散クラスアプローチとは異なり、再パラメータライズド勾配による効率的学習が可能になる。