[论文解读] Is there a "language of music-video clips" ? A qualitative and quantitative study

Laure Prétet, Gaël Richard+1 more|arXiv (Cornell University)|Aug 2, 2021

Music and Audio Processing参考文献 27被引用 12

一句话总结

本研究通过分析官方音乐视频（OMVs）中音乐与视频结构事件之间的同步性，探究是否存在一种‘音乐视频剪辑语言’。基于对527个来自Harmonix数据集的官方音乐视频的定量分析（应用MIR工具进行节拍/小节/功能段检测，以及计算机视觉技术进行镜头检测），并结合专家的定性访谈，研究发现音乐与视频的同步性具有明显的流派依赖性，尤其在流行、R&B和舞曲流派中，功能段和强拍边界处存在显著的共现现象。

ABSTRACT

Recommending automatically a video given a music or a music given a video has become an important asset for the audiovisual industry - with user-generated or professional content. While both music and video have specific temporal organizations, most current works do not consider those and only focus on globally recommending a media. As a first step toward the improvement of these recommendation systems, we study in this paper the relationship between music and video temporal organization. We do this for the case of official music videos, with a quantitative and a qualitative approach. Our assumption is that the movement in the music are correlated to the ones in the video. To validate this, we first interview a set of internationally recognized music video experts. We then perform a large-scale analysis of official music-video clips (which we manually annotated into video genres) using MIR description tools (downbeats and functional segments estimation) and Computer Vision tools (shot detection). Our study confirms that a "language of music-video clips" exists; i.e. editors favor the co-occurrence of music and video events using strategies such as anticipation. It also highlights that the amount of co-occurrence depends on the music and video genres.

研究动机与目标

• 探究官方音乐视频（OMVs）中音乐与视频时间结构之间是否存在系统性关联。
• 理解专业音乐视频剪辑师在制作过程中如何同步音频与视觉事件。
• 量化不同流派中音乐结构事件（节拍、小节、功能段）与视频镜头边界之间的对齐程度。
• 为改进自动音乐视频推荐与生成系统提供数据驱动的洞察。
• 探索是否可利用音乐视频同步中的流派特异性模式，以构建更优的多模态推荐模型。

提出的方法

• 对三位国际知名的音乐视频专家（作曲家、导演、剪辑师）进行深入访谈，以获取关于同步实践的定性见解。
• 分析来自Harmonix数据集的527个官方音乐视频，手动标注视频流派，并使用MIR工具进行节拍、小节和功能段检测。
• 应用计算机视觉技术（基于TransNet的镜头检测）识别视频镜头边界。
• 定义同步度量 $ S $，用于衡量音乐与视频结构边界之间的共现情况，分别针对功能段（$ l_{seg} $）和强拍（$ l_{bar} $）进行计算。
• 将 $ S $ 计算为由视频边界解释的音频边界比例，置信区间为95%。
• 汇总并比较不同音乐与视频流派的 $ S $ 值，以识别流派依赖的同步模式。

实验结果

研究问题

• RQ1 专业音乐视频剪辑师是否有意将视频镜头边界与音乐结构事件（如节拍、小节或功能段）对齐？
• RQ2 音乐与视频结构事件之间的同步性在不同音乐与视频流派之间是否存在显著差异？
• RQ3 在官方音乐视频中，音乐事件与视频镜头切换之间是否存在可测量、可量化的时序关联？
• RQ4 音乐与视频段落的时长如何相关？这种相关性是否随流派而变化？
• RQ5 所观察到的同步模式是否可被用于改进自动音乐视频推荐系统？

主要发现

• 本研究证实了在官方音乐视频中存在一种‘音乐视频剪辑语言’，剪辑师系统性地将视频镜头边界与音乐结构事件（如强拍和功能段）对齐。
• 流行音乐的同步度 $ S(l_{seg}) $ 最高，达 0.36 ± 0.02，表明镜头切换与功能段边界之间存在强烈对齐。
• R&B音乐的 $ S(l_{bar}) $ 达 0.31 ± 0.03，表明镜头切换与强拍之间存在显著共现。
• 舞曲/电子音乐虽具有较高的段落时长相关性，但 $ S(l_{seg}) $ 较低（0.18 ± 0.05），表明尽管时长匹配，边界并不总对齐。
• 舞蹈类与概念类视频的 $ S(l_{bar}) $ 值较高（分别为 0.24 和 0.23），反映出为实现节奏性视觉效果而有意进行的节拍同步剪辑。
• 表演类视频的同步度较低（$ S(l_{bar}) = 0.16 $），可能由于较少采用节奏性剪辑，更多依赖连续镜头；而‘其他’类视频的同步度最低（$ S = 0.11 $），反映出实验性或非节奏性剪辑风格。