[論文レビュー] MuseMorphose: Full-Song and Fine-Grained Music Style Transfer with Just One Transformer VAE.

Shih-Lun Wu, Yi‐Hsuan Yang|arXiv (Cornell University)|May 10, 2021

Music and Audio Processing参考文献 72被引用数 7

ひとこと要約

MuseMorphoseは、リズミカルな強調やポリフォニーなどの時間変動的でセグメントレベルの属性を条件として用いることで、フルソングおよび細分化された音楽スタイル転送を可能にする統合的TransformerベースのVAEモデルを提案する。VAE目的関数の下で、Transformerエンコーダーとインアテンションデコーダーを統合することで、RNNベースのベースラインよりもスタイル転送指標において優れた性能を達成する。

ABSTRACT

Transformers and variational autoencoders (VAE) have been extensively employed for symbolic (e.g., MIDI) domain music generation. While the former boast an impressive capability in modeling long sequences, the latter allow users to willingly exert control over different parts (e.g., bars) of the music to be generated. In this paper, we are interested in bringing the two together to construct a single model that exhibits both strengths. The task is split into two steps. First, we equip Transformer decoders with the ability to accept segment-level, time-varying conditions during sequence generation. Subsequently, we combine the developed and tested in-attention decoder with a Transformer encoder, and train the resulting MuseMorphose model with the VAE objective to achieve style transfer of long musical pieces, in which users can specify musical attributes including rhythmic intensity and polyphony (i.e., harmonic fullness) they desire, down to the bar level. Experiments show that MuseMorphose outperforms recurrent neural network (RNN) based baselines on numerous widely-used metrics for style transfer tasks.

研究の動機と目的

• Transformerの長序列列モデリングの強みと、変分自己オートエンコーダーの制御性を、記号的音楽生成において統合すること。
• ユーザー指定の時間変動的音楽的属性（例：リズミカルな強調やポリフォニー）を、バー単位まで制御可能に、生成中に指定可能にすること。
• シンボリック音楽におけるフルソング生成と細分化されたスタイル転送の両方をサポートする、1つのエンドツーエンドモデルを開発すること。
• 標準化されたスタイル転送評価指標において、既存のRNNベースの手法を上回ること。

提案手法

• モデルは、自己回帰的生成中にセグメントレベルの時間変動的制御ベクトルを条件として用いるために、インアテンション機構を強化したTransformerデコーダーを採用する。
• 別個のTransformerエンコーダーが入力音楽シーケンスを処理し、VAE目的関数の下で潜在表現を生成する。
• 潜在空間を分離することで、バー単位でのポリフォニーとリズミカルな強調などの特定の音楽的属性の制御が可能になる。
• エンドツーエンドで訓練されるVAE目的関数により、再構成と分離可能なサンプリングが可能となり、スタイル転送に寄与する。
• 制御ベクトルがデコーダーのアテンションメカニズムに埋め込まれ、各トークンステップで生成を調整することで、細分化されたスタイル編集が可能になる。

実験結果

リサーチクエスチョン

• RQ1 1つのTransformerベースのモデルが、記号的音楽において長序列列モデリングと細分化された、ユーザー制御可能なスタイル転送を効果的に統合できるか。
• RQ2 時間変動的でセグメントレベルの制御ベクトルは、音楽生成の表現力と制御性をどの程度向上できるか。
• RQ3 提案手法は、複数の評価指標において、RNNベースのベースラインと比較してどの程度のスタイル転送品質を達成するか。
• RQ4 モデルは、バー単位で独立してポリフォニーとリズミカルな強調などの異なる音楽的属性を分離し、操作できるか。

主な発見

• MuseMorphoseは、広く使われる複数のスタイル転送指標において、RNNベースのベースラインを上回り、優れた生成品質を示している。
• モデルは、リズミカルな強調やポリフォニーなどの音楽的属性について、細分化されたバー単位の制御を効果的に可能にしている。
• Transformerデコーダーへのインアテンション条件付けの統合により、自己回帰的生成中に効果的で安定した制御のインジェクションが可能になった。
• VAE目的関数により、意味的で解釈可能なスタイル転送を可能にする分離可能な潜在表現が得られた。