[論文レビュー] Music SketchNet: Controllable Music Generation via Factorized Representations of Pitch and Rhythm

Ke Chen, Cheng-i Wang+2 more|arXiv (Cornell University)|Aug 4, 2020

Music and Audio Processing参考文献 23被引用数 22

ひとこと要約

Music SketchNet は、変分オートエンコーダー（SketchVAE）を用いて、音高とリズムを分離された潜在表現に因子分解することで、部分的な音高またはリズムスケッチによって音楽の完成をガイドできる制御可能音楽生成フレームワークを導入する。このモデルは、客観的指標および主観的聴取テストの両方で最先端の手法を上回り、ユーザーが指定したフォルムに高い正確性で従いつつも、音楽的な一貫性を維持している。

ABSTRACT

Drawing an analogy with automatic image completion systems, we propose Music SketchNet, a neural network framework that allows users to specify partial musical ideas guiding automatic music generation. We focus on generating the missing measures in incomplete monophonic musical pieces, conditioned on surrounding context, and optionally guided by user-specified pitch and rhythm snippets. First, we introduce SketchVAE, a novel variational autoencoder that explicitly factorizes rhythm and pitch contour to form the basis of our proposed model. Then we introduce two discriminative architectures, SketchInpainter and SketchConnector, that in conjunction perform the guided music completion, filling in representations for the missing measures conditioned on surrounding context and user-specified snippets. We evaluate SketchNet on a standard dataset of Irish folk music and compare with models from recent works. When used for music completion, our approach outperforms the state-of-the-art both in terms of objective metrics and subjective listening tests. Finally, we demonstrate that our model can successfully incorporate user-specified snippets during the generation process.

研究の動機と目的

• 部分的な音高またはリズムスケッチを用いて、ユーザーが音楽の完成をガイドできる直感的でユーザー主導の音楽生成を可能にすること。
• 従来のモデルが条件付けに完全な音楽トラックを必要としているという限界を克服し、音楽生成のためのスケッチベースインターフェースを導入すること。
• 音楽の音高とリズムの潜在表現を分離することで、細かく制御可能な音楽生成を可能にすること。
• 完全な音楽入力を必要とせずにユーザーの好みを組み込むことで、音楽のインpainting（穴埋め）を改善すること。
• 定量的および主観的評価を通じて、ユーザーのコントロールの有効性を、一貫性があり音楽的に妥当な音楽生成の文脈で評価すること。

提案手法

• SketchVAE は、因子化された推論ネットワークを用いて、音楽のメジャーを音高のフォルムとリズムの潜在表現に分離・因子化する変分オートエンコーダーである。
• SketchInpainter は、過去および未来のコンテキストを基に、欠落しているメジャーの潜在表現をスタックド再帰的ネットワークで予測する。
• SketchConnector は、SketchInpainter からの潜在予測とユーザーが指定した音高またはリズムスケッチを統合し、最終的な生成をガイドする。
• 結合確率モデルは、デコーダー（SketchVAE）、インパインタ（SketchInpainter）、およびコネクタ（SketchConnector）を統合した一貫性のあるフレームワークとして、条件付き生成を実現する。
• モデルは、アイルランド民謡データ上でエンドツーエンドに訓練され、潜在空間モデリングにより音高とリズムの分離された制御が可能になっている。
• 仮想コントロール実験では、生成出力とユーザーが指定したスケッチとの間の音高およびリズムの正確性を測定することで、ユーザーの影響力を評価する。

実験結果

リサーチクエスチョン

• RQ1 音高とリズムの因子化された潜在表現は、エンドツーエンドモデルと比較して、より直感的かつ制御可能な音楽生成を可能にするか？
• RQ2 完全な音楽トラックを提供せずに、部分的な音高またはリズムスケッチを用いて、ユーザーが音楽生成をどれほど効果的にガイドできるか？
• RQ3 ユーザーが指定した音高またはリズムスケッチを組み込むことで、ベースラインのインパインタモデルと比較して、生成品質に統計的に有意な改善が得られるか？
• RQ4 ユーザーのスケッチによってガイドされた際、モデルが音楽的整合性と構造的一致性をどれほど保っているか？
• RQ5 ユーザーが指定した音高およびリズムパターンを高い正確性で再現しながら、音楽的に妥当な内容を生成できるか？

主な発見

• Music SketchNet は、客観的指標および主観的聴取テストの両方で最先端の Music InpaintNet を上回り、特に構造的整合性と全体的な音楽的自然さにおいて優れている。
• 主観的評価では、SketchNet が Music InpaintNet よりも構造（p < 0.05）および全体的な音楽的自然さ（p < 0.05）で有意に高いスコアを記録したが、複雑さについては有意差がなかった（p = 0.364）。
• 仮想コントロール実験では、モデルがユーザー指定のリズムスケッチを 97.3% の正確性で再現し、音高フォルムの再現率も 88.1% であった。
• モデルは、元のメロディにスケールシフトがあった場合でも、ユーザー指定の音高およびリズムスケッチに一致する一貫性のある音楽を効果的に生成した。
• 分離された潜在空間により意味的な制御が可能になった：ユーザーは音高またはリズムを独立して影響させることができ、文脈的に適切な多様な出力を得られた。
• フレームワークは、最小限の入力でユーザーが生成をガイドできるインタラクティブな音楽スケッチの実用的有用性を示した。