[論文レビュー] MIDI-VAE: Modeling Dynamics and Instrumentation of Music with Applications to Style Transfer

Gino Brunner, Andres Konrad+2 more|arXiv (Cornell University)|Sep 20, 2018

Music and Audio Processing参考文献 28被引用数 63

ひとこと要約

MIDI-VAE は、ポリフォニックな注釈付き音楽の動的性と楽器編成をモデル化し、ジャンル間のスタイル転送（例: クラシックからジャズ）を可能にする共用潜在空間的変分自動符号化器を導入し、生成、補間、混合も可能にします。

ABSTRACT

We introduce MIDI-VAE, a neural network model based on Variational Autoencoders that is capable of handling polyphonic music with multiple instrument tracks, as well as modeling the dynamics of music by incorporating note durations and velocities. We show that MIDI-VAE can perform style transfer on symbolic music by automatically changing pitches, dynamics and instruments of a music piece from, e.g., a Classical to a Jazz style. We evaluate the efficacy of the style transfer by training separate style validation classifiers. Our model can also interpolate between short pieces of music, produce medleys and create mixtures of entire songs. The interpolations smoothly change pitches, dynamics and instrumentation to create a harmonic bridge between two music pieces. To the best of our knowledge, this work represents the first successful attempt at applying neural style transfer to complete musical compositions.

研究の動機と目的

• ダイナミクス（ノートのベロシティ、継続時間）と複数トラック全体の楽器編成を活用して、 symbolic music に対してスタイル転送を行うニューラルモデルの動機づけと開発。
• 多トラック音楽の音高、ベロシティ、および楽器割り当ての結合分布を捉えるコンパクトな潜在表現を学習する。
• melody を preserving しつつ、クラシックからジャズへ等のスタイルを変更した existing pieces の操作を可能にし、生成、補間、そして pieces の混合を促進する。

提案手法

• 三つの並列エンコーダ–デコーダ対（音高、ベロシティ、楽器）は、ポリフォニック音楽の結合分布をモデル化する共通潜在空間を共有する。
• β 重み付きKL項を持つ変分オートエンコーダは潜在 z に事前分布を課し、分離性を促進する。
• スタイル分類器を最上位の潜在次元に付加して潜在スタイルラベルを符号化し、z（z_style）内のスタイル次元を入れ替えることでスタイル転送を実現する。
• 音楽データは、トラック間のピアノロールとして音高（60音）、ベロシティ、楽器ロールを用い、バーを1単位（16分音符の粒度）として定義する。
• 全損失は、音高/音高-ベロシティ/楽器再構成項、スタイル予測損失、およびKL発散項を組み合わせたものである（L_tot = λP H + λI H + λV MSE + λS H + (−β) DKL）。
• 訓練はGRUベースのエンコーダ/デコーダとAdam最適化を用い、MIDIファイルから抽出されたバーごとの象徴的表現を用いて、ジャンルペア（例: Classics–Jazz）でデータを分割して行う。）

実験結果

リサーチクエスチョン

• RQ1 共用潜在空間VAE が multi-track symbolic music の結合ダイナミクスと楽器編成を捉え、ジャンル間のスタイル転送を可能にするか。
• RQ2 スタイル分類器がコンパクトな潜在スタイル表現をどれだけ効果的に強制し、作品間の controllable なスタイル転送を実現できるか。
• RQ3 完全な音楽作品の生成、補間、メドレー、混合における MIDI-VAE の能力は、音楽的一貫性をどの程度維持するか。
• RQ4 ピッチ、ベロシティ、楽器編成がジャンル間のスタイル転送の成功にどの程度寄与するか。

主な発見

• MIDI-VAE は、ピッチ、ダイナミクス、楽器編成を変更して作品を一つのスタイルから別のスタイルへと変えることでスタイル転送を実現し、別個のスタイル分類器によって検証される。
• モデルはバー間の補間や、全曲のメドレーおよび混合を、ピッチ、ダイナミクス、楽器編成の滑らかな遷移とともに生成できる。
• 潜在空間解析（例: t-SNE）により、スタイル（例: Jazz と Classical）の明確な分離が示され、スタイルや他の音楽的特性（ノート数、音域）と相関する次元が明らかになる。
• ピッチとベロシティの変化はスタイル転送に寄与する一方、楽器編成の変化はジャンル変化と強く整合し、旋律は大筋にわたり保持される。
• このアプローチは、完全な音楽作品への初期的な非整列スタイル転送アプリケーションを表しており、長期的なスタイル特徴の階層モデルへ拡張可能である。