[论文解读] Multi-Instrumentalist Net: Unsupervised Generation of Music from Body Movements

Kun Su, Xiulong Liu+1 more|arXiv (Cornell University)|Dec 7, 2020

Music and Audio Processing参考文献 45被引用 13

一句话总结

该论文提出Multi-Instrumentalist Net（MI Net），一种无监督深度学习系统，仅通过音乐家表演视频中的身体动作关键点，即可从无标签视频中生成多乐器音乐。通过将向量量化变分自编码器（VQ-VAE）与基于身体关键点的循环先验相结合，MI Net实现了乐器音色的解耦，无需使用标注的乐器数据即可生成高质量、乐器特定的音乐，在‘真实场景’视频中的乐器分类准确率达到61.5%。

ABSTRACT

We propose a novel system that takes as an input body movements of a musician playing a musical instrument and generates music in an unsupervised setting. Learning to generate multi-instrumental music from videos without labeling the instruments is a challenging problem. To achieve the transformation, we built a pipeline named 'Multi-instrumentalistNet' (MI Net). At its base, the pipeline learns a discrete latent representation of various instruments music from log-spectrogram using a Vector Quantized Variational Autoencoder (VQ-VAE) with multi-band residual blocks. The pipeline is then trained along with an autoregressive prior conditioned on the musician's body keypoints movements encoded by a recurrent neural network. Joint training of the prior with the body movements encoder succeeds in the disentanglement of the music into latent features indicating the musical components and the instrumental features. The latent space results in distributions that are clustered into distinct instruments from which new music can be generated. Furthermore, the VQ-VAE architecture supports detailed music generation with additional conditioning. We show that a Midi can further condition the latent space such that the pipeline will generate the exact content of the music being played by the instrument in the video. We evaluate MI Net on two datasets containing videos of 13 instruments and obtain generated music of reasonable audio quality, easily associated with the corresponding instrument, and consistent with the music audio content.

研究动机与目标

• 开发一个统一的模型，仅从无标签的音乐家演奏视频中生成音乐，无需乐器标签。
• 在无监督条件下，从视觉身体动作中解耦音乐成分（如音色、音高、节奏）。
• 通过学习身体运动与音频特征在共享潜在空间中的相关性，实现逼真且乐器特定的音乐生成。
• 通过MIDI内容实现条件生成，以从视频输入中精确重现音乐片段。
• 在录音室录制视频和‘真实场景’视频上评估模型性能，以衡量其泛化能力和鲁棒性。

提出的方法

• 系统使用带有多带残差块的VQ-VAE，从音频的对数功率谱图中学习离散潜在表征，实现高分辨率音频重建。
• 使用循环神经网络将视频帧中的身体动作关键点编码为VQ-VAE先验网络的视觉上下文。
• 先验网络与VQ-VAE联合训练，通过建模身体动作与音频表征之间的依赖关系，将潜在特征解耦为乐器特定的成分。
• 引入基于Transformer架构的内容编码器，以MIDI数据条件化先验，实现对演奏音乐的精确重现。
• 模型以端到端方式无监督训练，训练过程中无需乐器标注。
• 从学习到的先验分布中采样潜在向量，并通过VQ-VAE解码生成新的音乐序列。

实验结果

研究问题

• RQ1 单一无监督模型能否从未标记的音乐家视频中生成高质量、乐器特定的音乐？
• RQ2 在无音频标签的情况下，仅靠身体动作关键点能否有效区分并解耦乐器音色？
• RQ3 VQ-VAE与运动条件化先验的联合训练，在学习有意义且解耦的乐器表征方面有多有效？
• RQ4 在引入MIDI作为额外条件时，模型在多大程度上能精确重现演奏的音乐内容？
• RQ5 模型在具有不同摄像角度和主体差异的‘真实场景’视频上泛化能力如何？

主要发现

• MI Net在URMP和Solos数据集上的KNN分类准确率分别达到93.7%和61.5%，表明其对乐器特定特征具有强大的解耦能力。
• 在盲测中，24%的人类评估者认为模型生成的音频样本为真实音频，证明其感知上的合理性。
• 消融实验证明，多带残差块将频谱图重建的L2损失从0.89降低至0.78，提升了音频保真度。
• 基于Transformer的内容编码器将负对数似然（NLL）损失从基线GRU的2.93降低至2.55，表明对内容-潜在表征依赖关系的建模更优。
• 即使未提供显式的乐器标签，系统仍能生成与视频中乐器和音频内容一致的音乐。
• 尽管在录音室数据上表现优异，模型在‘真实场景’视频上仍因视觉和音频的高变异性而表现受限，表明其泛化能力存在局限。