[論文レビュー] VampNet: Music Generation via Masked Acoustic Token Modeling

Hugo Flores García, Prem Seetharaman+2 more|arXiv (Cornell University)|Jul 10, 2023

Music and Audio Processing被引用数 7

ひとこと要約

VampNet は、並列反復デコードを用いてマスクされた音響トークンを予測することで、高精細な音楽を生成する非自己回帰的かつ双方向的トランスフォーマーモデルである。このモデルは、多様なプロンプト戦略を用いて柔軟な音楽生成、圧縮、インpainting、バリエーション生成を可能にし、NVIDIA RTX3090でたった36回のサンプリングステップで最先端のFADスコアを達成した。

ABSTRACT

We introduce VampNet, a masked acoustic token modeling approach to music synthesis, compression, inpainting, and variation. We use a variable masking schedule during training which allows us to sample coherent music from the model by applying a variety of masking approaches (called prompts) during inference. VampNet is non-autoregressive, leveraging a bidirectional transformer architecture that attends to all tokens in a forward pass. With just 36 sampling passes, VampNet can generate coherent high-fidelity musical waveforms. We show that by prompting VampNet in various ways, we can apply it to tasks like music compression, inpainting, outpainting, continuation, and looping with variation (vamping). Appropriately prompted, VampNet is capable of maintaining style, genre, instrumentation, and other high-level aspects of the music. This flexible prompting capability makes VampNet a powerful music co-creation tool. Code and audio samples are available online.

研究の動機と目的

• 圧縮、インpainting、バリエーションなどの多様な音声操作タスクをサポートする非自己回帰的音楽生成モデルの開発。
• 離散的な音響トークン上で並列反復デコードを用いて、効率的かつ高品質な音声合成を実現すること。
• 周期的、拍に合わせた、およびインpaintingなどのさまざまなプロンプト戦略の有効性を検証すること。
• 自己回帰的生成なしに、双方向アテンションを用いたマスクされたトークンモデリングが、一貫性のあるスタイルで整合性のある音楽を生成できることを示すこと。
• プロンプトベースの制御により、音楽の共同創造や音声操作に柔軟に利用可能なオープンソースツールを提供すること。

提案手法

• VampNet は、1回のフォワードパスで全トークンに注目する双方向トランスフォーマー構造を採用しており、非自己回帰的生成を可能にしている。
• 訓練段階では、入力トークンを変動するスケジュールでマスクし、モデルがマスクされた値を予測するように学習させる。
• 推論段階では、並列反復デコードを用いる：各ステップで、最も信頼性の高い予測トークンがサンプリングされ、逐次的にシーケンスが改善される。
• モデルはプロンプトによって条件付けられる。入力シーケンスは特定のパターン（例：周期的、拍に合わせた、またはランダムな）でマスクされ、生成をガイドする。
• 音声はまず事前学習済みの音声トークナイザー（例：DAC）を用いてトークン化され、その結果得られた離散的トークンがVampNetで処理された後、音声に再変換される。
• 圧縮、周期的、拍に合わせたなどの異なるプロンプト戦略により、再構成から創造的バリエーションまで、モデルがスケールする範囲で動作可能となる。

Figure 1 : VampNet overview. We first convert audio into a sequence of discrete tokens using an audio tokenizer. Tokens are masked, and then passed to a masked generative model, which predicts values for masked tokens via an efficient iterative parallel decoding sampling procedure at two levels. We

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的かつ双方向的トランスフォーマーモデルは、最小限のサンプリングステップでマスクされた音響トークンから高精細な音楽を生成できるか？
• RQ2 周期的、拍に合わせた、インpaintingなどの異なるプロンプト戦略は、音楽生成とバリエーションのガイドにどの程度効果的か？
• RQ3 VampNet は、音質と音楽的構造を保持しながら、どの程度の音声圧縮を実現できるか？
• RQ4 サンプリングステップ数とマスキング密度の変化に伴い、モデルの性能はどのように変化するか？
• RQ5 プロンプト付きのマスクされた音響トークンモデリングにより、入力音楽の整合性があり、スタイルが一貫したバリエーションを生成できるか？

主な発見

• VampNet は36回のサンプリングステップで、自己回帰的ベースラインを上回る品質と速度を達成し、最小のFADスコアを記録した。
• 24回のサンプリングステップで、NVIDIA RTX3090上では10秒分の音声を約6秒で生成できたのに対し、同程度のパラメータを持つ自己回帰モデルでは約1分を要した。
• 拍に合わせたプロンプト戦略が最も低いFADスコアを達成し、他のプロンプト手法と比較して、より優れた聴覚的品質とテンポの一貫性を示した。
• P=16（35条件付きタイムステップ）の周期的プロンプトは、1秒分のコンテキスト（57タイムステップ）を有するインpaintingと同等の性能を示し、分散型の条件付けが効率性を向上させることを示した。
• 200 bps未満のビットレートでも、VampNet はランダムトークンベースラインよりも低いFADを維持しており、再構成が不十分であっても依然として音楽的に妥当な音声を生成できることを示した。
• 周期的プロンプトと圧縮プロンプトを組み合わせることで、マスキングの増加に伴い、再構成から創造的生成へ滑らかに移行できるようになった。

Figure 2 : Training, sampling, and prompting VampNet. Training : we train VampNet using Masked Acoustic Token Modeling, where we randomly mask a portion of a set of input acoustic tokens and learn to predict the masked set of tokens, using a variable masking schedule. Coarse model training masks coa