[论文解读] InverseMV: Composing Piano Scores with a Convolutional Video-Music Transformer

Chin‐Teng Lin, Yang Mu|arXiv (Cornell University)|Dec 31, 2021

Music and Audio Processing被引用 4

一句话总结

该论文提出VMT，一种视频-音乐变换器模型，通过多模态注意力机制从视频帧生成符号化钢琴谱。该研究引入了一个包含7小时以上视频-MIDI对齐流行音乐视频的新数据集，并通过人工评估表明，VMT在音乐流畅性和视频相关性方面优于Seq2seq基线模型，尤其在捕捉帧级运动和节奏结构方面表现更优。

ABSTRACT

Many social media users prefer consuming content in the form of videos rather than text. However, in order for content creators to produce videos with a high click-through rate, much editing is needed to match the footage to the music. This posts additional challenges for more amateur video makers. Therefore, we propose a novel attention-based model VMT (Video-Music Transformer) that automatically generates piano scores from video frames. Using music generated from models also prevent potential copyright infringements that often come with using existing music. To the best of our knowledge, there is no work besides the proposed VMT that aims to compose music for video. Additionally, there lacks a dataset with aligned video and symbolic music. We release a new dataset composed of over 7 hours of piano scores with fine alignment between pop music videos and MIDI files. We conduct experiments with human evaluation on VMT, SeqSeq model (our baseline), and the original piano version soundtrack. VMT achieves consistent improvements over the baseline on music smoothness and video relevance. In particular, with the relevance scores and our case study, our model has shown the capability of multimodality on frame-level actors' movement for music generation. Our VMT model, along with the new dataset, presents a promising research direction toward composing the matching soundtrack for videos. We have released our code at https://github.com/linchintung/VMT

研究动机与目标

• 为解决视频到音乐生成领域缺乏数据集和模型的问题，特别是针对符号化钢琴音乐的生成。
• 开发一种多模态模型，能够以帧为粒度生成与视频内容相匹配的音乐。
• 解决在视频中使用现有音乐所引发的版权问题。
• 通过建模符号化音乐中的长期结构和节奏连贯性，提升音乐生成质量。
• 通过人工评估和案例研究，建立视频-音乐对齐的基准。

提出的方法

• 提出一种视频-音乐变换器（VMT）模型，利用自注意力和交叉注意力机制处理视频帧，并以MIDI格式生成符号化钢琴音乐。
• 采用卷积视频编码器，以帧级粒度从输入视频帧中提取时空特征。
• 使用因果自回归变换器解码器，通过自回归生成方式输出序列化的MIDI标记，保持长期音乐结构。
• 利用预训练的音乐变换器主干网络，以更好地建模音乐序列与和声进行。
• 采用端到端训练方式，通过MIDI标记级别的交叉熵损失进行优化，包括音高、持续时间和力度。
• 提出一种新颖的数据处理流程，将视频帧与精确的MIDI音符开启/关闭事件对齐，确保细粒度同步。

实验结果

研究问题

• RQ1 多模态变换器模型能否在以视频帧为条件时，生成在感知上流畅且音乐上连贯的钢琴谱？
• RQ2 该模型在多大程度上能与视频中的帧级视觉动态（如舞者动作或场景切换）实现对齐？
• RQ3 所提出的模型是否在音乐质量与视频相关性方面均优于强大的Seq2Seq基线模型？
• RQ4 该模型在多大程度上能够学习并再现从视频输入中提取的重复旋律动机与节奏模式？
• RQ5 该模型能否泛化到具有不同摄像角度、光照条件和表演风格的多样化流行音乐视频？

主要发现

• 在音乐流畅性方面，VMT显著优于Seq2Seq基线模型，人工评估者一致认为其输出更具连贯性与音乐自然性。
• VMT生成的音乐包含重复的旋律动机与多样的音高轮廓，展现出与人类创作音乐相似的和声与节奏结构捕捉能力。
• 人工评估显示，VMT在视频相关性评分上更高，尤其在匹配音乐与帧级动作（如舞蹈或手势）方面表现更优。
• 该模型成功生成了长度一致的音符，并实现了准确的音符开启/关闭事件对齐，避免了Seq2Seq基线中常见的重复音符模式。
• 案例研究证实，VMT能够检测并响应视觉线索（如舞者运动），生成反映视频节奏与情感的音乐。
• 新数据集（超过7小时的视频-MIDI对齐流行音乐视频）的发布，为未来视频到音乐生成研究提供了宝贵的基准。