[論文レビュー] MuseMorphose: Full-Song and Fine-Grained Piano Music Style Transfer with One Transformer VAE

Shih-Lun Wu, Yi‐Hsuan Yang|arXiv (Cornell University)|May 10, 2021

Music and Audio Processing被引用数 4

ひとこと要約

MuseMorphoseは、リズム的強調度とポリフォニーに対するバーレベル制御を可能にするin-attention条件付きによる統合的Transformer VAEモデルを提案する。長文シーケンス生成と明確に分離された属性制御を組み合わせることで、RNNベースのベースラインを上回る性能を発揮する。

ABSTRACT

Transformers and variational autoencoders (VAE) have been extensively employed for symbolic (e.g., MIDI) domain music generation. While the former boast an impressive capability in modeling long sequences, the latter allow users to willingly exert control over different parts (e.g., bars) of the music to be generated. In this paper, we are interested in bringing the two together to construct a single model that exhibits both strengths. The task is split into two steps. First, we equip Transformer decoders with the ability to accept segment-level, time-varying conditions during sequence generation. Subsequently, we combine the developed and tested in-attention decoder with a Transformer encoder, and train the resulting MuseMorphose model with the VAE objective to achieve style transfer of long pop piano pieces, in which users can specify musical attributes including rhythmic intensity and polyphony (i.e., harmonic fullness) they desire, down to the bar level. Experiments show that MuseMorphose outperforms recurrent neural network (RNN) based baselines on numerous widely-used metrics for style transfer tasks.

研究の動機と目的

• 変換器（長文シーケンスモデリング）とVAE（制御可能な生成）の長所を統合し、記号的音楽生成に応用すること。
• 長期間の音楽生成中に、リズム的強調度やポリフォニーなどの音楽的属性に対して、細分化されたセグメント（バーレベル）制御を可能にすること。
• 補助的損失項を一切用いずに、全曲生成と正確な属性転送の両方をサポートする単一の統合モデルを開発すること。
• 事前注意、in-attention、事後注意の異なる条件付きメカニズムが、自己回帰的Transformerデコーダーの制御に与える効果を調査すること。
• タスク固有の補助的目的に依存せずに、高精度で多様かつ制御可能な音楽生成を実現できるVAE訓練済みTransformerモデルの有効性を示すこと。

提案手法

• in-attention条件付きを導入し、時間的に変化する条件付きベクトルを、Transformerデコーダーのアテンション機構に、クエリ・キー・バリューの投影を変更することで組み込む。
• 全音楽シーケンスを潜在空間にマップするTransformerエンコーダーと、潜在コードとセグメントレベルの条件を用いてシーケンスを再構築する条件付きTransformerデコーダーを採用する。
• VAEの目的関数に従い、サイクル的KLアニーリングとフリー・ビットを用いて、学習の安定性と分離性の向上を図る。
• 分離された属性制御を可能にするために、ベクトル量子化された潜在空間を用いる。これにより、ポリフォニーとリズム的強調度といった特定の音楽的特徴の操作が可能になる。
• 生成の多様性と品質のバランスを図るため、温度と切り捨て調整を施したnucleusサンプリングを適用する。
• アブレーションにより、条件付きメカニズムを評価し、in-attentionが制御性と滑らかさにおいて事前・事後注意を上回ることを示した。

Figure 1 : Visualizations of an original music excerpt (top) and one of its style-transferred generations by MuseMorphose (bottom). Digits in the upper and lower rows represent our target attributes being controlled, namely, bar-wise rhythmic intensity and polyphony classes, respectively.

実験結果

リサーチクエスチョン

• RQ1 in-attention条件付きは、自己回帰的Transformerデコーダーにおいて、音楽的属性に対するより効果的で安定したバーレベル制御を可能にするか？
• RQ2 VAE学習によって統合されたTransformerエンコーダーと条件付きデコーダーを組み合わせたモデルは、RNNベースのVAEと比較して、全曲スタイル転送において優れた性能を発揮するか？
• RQ3 1つのVAEベースのモデルが、補助的損失項を一切用いずに、高精度で多様かつ独立して制御可能な音楽生成をどの程度達成できるか？
• RQ4 生成長が延びるに従い、MuseMorphoseの性能はどのように変化するか。特に、属性制御と多様性の観点から検証する。
• RQ5 in-attentionメカニズムは、リズム的強調度やポリフォニーと比較して頻度が低い変化（例：トロネーションや楽器編成）にも一般化可能か？

主な発見

• in-attention条件付きメカニズムは、アブレーションスタディにおいて、事前・事後注意を上回る属性制御とシーケンスの滑らかさを達成した。
• MuseMorphoseは、補助的損失項を一切用いずに、属性制御、忠実度、多様性といった複数の標準的スタイル転送指標で2つのRNNベースのベースラインを上回った。
• モデルは8〜96バーレングスの生成長にわたり一貫した性能を維持したが、長尺化に伴いやや属性制御とグルーヴ感の多様性に低下が見られた。
• VAE目的関数にサイクル的KLアニーリングとフリー・ビットを適用したことが、モデルの成功に不可欠であり、安定した学習と分離された潜在表現の実現に寄与した。
• リズム的強調度とポリフォニーの強力な分離性が示され、バーレベルでこれらの属性を独立して操作可能であった。
• このフレームワークはNLPにも一般化可能であり、感情制御や教育的コンテンツのテキスト難易度調整への応用が期待できる。

(a) Pre-attention conditioning