[论文解读] Feel The Music: Automatically Generating A Dance For An Input Song

Purva Tendulkar, Abhishek Das+2 more|arXiv (Cornell University)|Jun 21, 2020

Music and Audio Processing参考文献 15被引用 5

一句话总结

本文提出一种机器学习方法，通过优化时空运动模式以匹配音乐片段的结构相似性，利用梅尔频率倒谱系数（MFCCs）生成富有创意且与音乐同步的舞蹈。该方法在离散运动状态和动作上采用贪心搜索，人类评估显示其表现最佳的变体（基于动作的同步）在创意性、启发性及与音乐同步性方面显著优于强基线模型，且在多种可视化形式和歌曲流派下均表现优异。

ABSTRACT

We present a general computational approach that enables a machine to generate a dance for any input music. We encode intuitive, flexible heuristics for what a 'good' dance is: the structure of the dance should align with the structure of the music. This flexibility allows the agent to discover creative dances. Human studies show that participants find our dances to be more creative and inspiring compared to meaningful baselines. We also evaluate how perception of creativity changes based on different presentations of the dance. Our code is available at https://github.com/purvaten/feel-the-music.

研究动机与目标

• 开发一种无需专家监督数据的计算框架，用于生成富有创意且与音乐同步的舞蹈。
• 将‘优质’舞蹈建模为音乐结构与运动模式之间的对齐，采用直观启发式而非严格规则。
• 评估机器生成的舞蹈是否在感知上比基线方法更具创意性、启发性，并与音乐更同步。
• 研究可视化类型如何影响人类对舞蹈创意性和同步性的感知。
• 探讨步数及运动表征方式（状态 vs. 动作）在舞蹈质量与感知中的作用。

提出的方法

• 使用梅尔频率倒谱系数（MFCCs）表示音乐，并计算自相似矩阵以捕捉时间帧之间的结构相似性。
• 将舞蹈建模为离散状态或动作的序列，运动表征包括基于状态（ST）、基于动作（AC）以及状态与动作结合（SA）的变体。
• 定义对齐得分，以最大化音乐自相似性与舞蹈运动相似性之间的匹配度，从而鼓励结构上的对应关系。
• 使用贪心搜索过程优化对齐得分，生成与音乐结构同步的舞蹈序列。
• 通过亚马逊机械 Turk 研究评估舞蹈，参与者在四个指标上比较舞蹈对：创意性、同步性、不可预测性与启发性。
• 系统性地改变可视化类型（如：骨架图、脉动圆盘、一维网格）和步数（25、50、100），以评估其对感知的影响。

实验结果

研究问题

• RQ1 机器能否在无专家标注舞蹈数据的情况下，生成在感知上比基线方法更具创意性和启发性的舞蹈？
• RQ2 运动表征方式的选择（基于状态 vs. 基于动作）如何影响舞蹈质量感知与音乐同步性？
• RQ3 增加舞蹈序列中的步数是否能提升感知创意性与同步性，还是会引入不自然的‘跳跃感’？
• RQ4 不同可视化形式（如：类人人体骨架图 vs. 几何形状）如何影响人类对舞蹈创意性与音乐对齐的感知？
• RQ5 使用学习到的对齐启发式方法与随机或节拍同步基线相比，是否存在显著的感知质量差异？

主要发现

• 基于动作的同步（AC）方法在人类比较中被评定为显著更具创意性，胜率高达61%（99%置信水平），优于所有基线模型，包括最强的基线（UR）。
• 100步的舞蹈被感知为比25步或50步的舞蹈更具创意性，相较于50步舞蹈胜率69%（99%置信水平），相较于25步舞蹈胜率73%（99%置信水平）。
• UR基线（无结构的随机运动）在创意性、启发性与同步性方面均被评定高于结构化基线（SS、US），表明当与音乐特征对齐时，运动中的随机性可能被感知为更具创意性。
• 类人人体骨架图可视化形式在创意性感知上表现最佳，AC方法在95%置信水平下获得61%的偏好率，高于UR，表明类人形形态能增强对舞蹈细微表达的感知。
• 在7种可视化形式中，AC方法在5种情况下优于UR，其中3种可视化形式显示AC方法偏好具有统计显著性（p > 0.95）。
• 该方法在感知音乐同步性与启发性方面均优于所有基线模型，尤其在采用基于动作的运动表征时表现更优。