[論文レビュー] Multi-Instrumentalist Net: Unsupervised Generation of Music from Body Movements

Kun Su, Xiulong Liu+1 more|arXiv (Cornell University)|Dec 7, 2020

Music and Audio Processing参考文献 45被引用数 13

ひとこと要約

本稿では、楽器を演奏する映像のラベルなしで、身体の動きのキーポintsのみを用いてマルチインストルメンタル音楽を生成する教師なし深層学習システム、Multi-Instrumentalist Net (MI Net) を提案する。VQ-VAEとキーポイントで条件づけられた再帰的事前分布を組み合わせることで、ラベルなしの楽器データを用いずに、楽器固有のトーンカラーを分離し、高品質な楽器別音楽を生成する。実際の映像（'in the wild'）において楽器分類の正確性が61.5%に達した。

ABSTRACT

We propose a novel system that takes as an input body movements of a musician playing a musical instrument and generates music in an unsupervised setting. Learning to generate multi-instrumental music from videos without labeling the instruments is a challenging problem. To achieve the transformation, we built a pipeline named 'Multi-instrumentalistNet' (MI Net). At its base, the pipeline learns a discrete latent representation of various instruments music from log-spectrogram using a Vector Quantized Variational Autoencoder (VQ-VAE) with multi-band residual blocks. The pipeline is then trained along with an autoregressive prior conditioned on the musician's body keypoints movements encoded by a recurrent neural network. Joint training of the prior with the body movements encoder succeeds in the disentanglement of the music into latent features indicating the musical components and the instrumental features. The latent space results in distributions that are clustered into distinct instruments from which new music can be generated. Furthermore, the VQ-VAE architecture supports detailed music generation with additional conditioning. We show that a Midi can further condition the latent space such that the pipeline will generate the exact content of the music being played by the instrument in the video. We evaluate MI Net on two datasets containing videos of 13 instruments and obtain generated music of reasonable audio quality, easily associated with the corresponding instrument, and consistent with the music audio content.

研究の動機と目的

• 楽器のラベルなしで、演奏するミュージシャンのラベルなし映像から音楽を生成する統合的で単一のモデルを開発すること。
• 身体の動きの視覚的情報から、楽器の音色、音高、リズムなどの音楽的要因を教師なしで分離すること。
• 身体の動きと音声特徴の関係を共有された潜在空間で学習することで、現実的で楽器固有の音楽を生成すること。
• MIDIデータを条件として用いて、映像入力から正確に同じ音楽的フレーズを再現できる条件付き生成を可能にすること。
• スタジオ録音と 'in the wild' の両方の映像でモデルの性能を評価し、汎化性と耐障害性を検証すること。

提案手法

• 音声のログスペクトログラムの離散的潜在表現を学習するために、マルチバンドリーマンドブロックを備えたVQ-VAEを用い、高分解能な音声再構成を実現する。
• 映像フレームからの身体の動きキーポイントを再帰的ニューラルネットワークで符号化し、VQ-VAEの事前分布ネットワークの視覚的情報として用いる。
• VQ-VAEと jointly に訓練することで、身体の動きと音声表現の依存関係をモデル化し、潜在特徴を楽器固有の成分に分離する。
• MIDIデータを条件として用いるためのコンテンツエンコーダとして、トランスフォーマーに基づくアーキテクチャを導入し、演奏された音楽の正確な再現を可能にする。
• モデルは教師なしでエンドツーエンドに訓練され、訓練段階で楽器ラベルのアノテーションが不要である。
• 学習された事前分布から潜在ベクトルをサンプリングし、VQ-VAEを用いてデコードすることで、新しい音楽シーケンスを生成する。

実験結果

リサーチクエスチョン

• RQ1 単一の教師なしモデルが、楽器のラベルなしの映像から高品質で楽器固有の音楽を生成できるか？
• RQ2 音声ラベルなしの状況下で、身体の動きキーポイントのみで楽器のトーンカラーを明確に分離できるか？
• RQ3 VQ-VAEと動き条件付き事前分布の共同訓練が、意味的かつ分離可能な楽器の潜在表現を学習するのにどの程度効果的か？
• RQ4 MIDIを追加条件として用いることで、モデルが演奏の正確な音楽的内容をどの程度再現できるか？
• RQ5 モデルは、カメラアングルや被写体の変動が大きい 'in the wild' の映像に対しても、どの程度汎化できるか？

主な発見

• URMPおよびSolosデータセットにおいて、それぞれ93.7%および61.5%のKNN分類精度を達成し、楽器固有の特徴の強力な分離を示した。
• 盲検査定において、24%の被験者が生成音声を本物と判断した。これは、知覚的に妥当な音声生成を示している。
• アブレーションスタディの結果、マルチバンドリーマンドブロックの導入により、スペクトログラム再構成のL2損失が0.89から0.78に低下し、音声の精細さが向上した。
• トランスフォーマーに基づくコンテンツエンコーダーの導入により、負の対数尤度（NLL）損失が2.93（GRUベースライン）から2.55に低下し、コンテンツ-潜在の依存関係のモデリングが向上した。
• モデルは、明示的な楽器ラベルなしでも、映像の楽器と音声内容に整合した音楽を生成できた。
• スタジオデータでは優れた性能を示したが、視覚的・音声的変動が大きい 'in the wild' の映像では、汎化性の限界が顕在化した。