[论文解读] A Computational Analysis of Real-World DJ Mixes using Mix-To-Track Subsequence Alignment

Tae‐Jun Kim, Minsuk Choi+3 more|arXiv (Cornell University)|Aug 24, 2020

Music and Audio Processing参考文献 11被引用 4

一句话总结

该论文提出了一种子序列动态时间规整（DTW）方法，用于将现实世界中的DJ混音与原曲对齐，从而精确提取出 cue 点、过渡时长和音乐变化。基于来自 1001Tracklists 的 1,557 个混音样本，研究发现 DJ 几乎不会转调（仅 2.5% 的曲目被转调，且多为半音转调），并且在不同 DJ 之间，cue 点的对齐大多集中在 8 小节（73.6%）或 16 小节（86.2%）内，表明存在共享的创作惯例。

ABSTRACT

A DJ mix is a sequence of music tracks concatenated seamlessly, typically rendered for audiences in a live setting by a DJ on stage. As a DJ mix is produced in a studio or the live version is recorded for music streaming services, computational methods to analyze DJ mixes, for example, extracting track information or understanding DJ techniques, have drawn research interests. Many of previous works are, however, limited to identifying individual tracks in a mix or segmenting it, and the sizes of the datasets are usually small. In this paper, we provide an in-depth analysis of DJ music by aligning a mix to its original music tracks. We set up the subsequence alignment such that the audio features are less sensitive to the tempo or key change of the original track in a mix. This approach provides temporally tight mix-to-track matching from which we can obtain cue-points, transition length, mix segmentation, and musical changes in DJ performance. Using 1,557 mixes from 1001Tracklists including 13,728 tracks and 20,765 transitions, we conduct the proposed analysis and show a wide range of statistics, which may elucidate the creative process of DJ music making.

研究动机与目标

• 通过克服以往小规模、孤立的研究在曲目识别、分割和对齐方面的局限性，实现对现实世界 DJ 混音的大规模计算分析。
• 开发一种对速度和调性变化具有鲁棒性的混音到原曲子序列 DTW 方法，确保混音与原曲之间的精确对齐。
• 利用包含 1,557 个混音和 13,728 首曲目的大规模数据集，提取并分析 cue 点、过渡时长和音乐变化。
• 探究 DJ 是否在 cue 点选择、过渡设计以及音高/速度调节方面遵循共享的音乐惯例。
• 为 DJ 混音实践提供统计证据，支持未来在自动混音生成和音乐信息检索（MIR）领域的工作。

提出的方法

• 提出一种子序列动态时间规整（DTW）框架，将 DJ 混音中的音频片段与原曲对齐，同时使音频特征对速度和调性变化保持不变。
• 使用 MFCC 和与调性无关的色度特征，以增强在音高转调和速度变化下的对齐鲁棒性。
• 从规整路径中提取 cue-in 和 cue-out 点，以定义混音中的曲目边界和过渡区域。
• 通过将自动提取的 cue 点与人工标注的边界进行比较，评估混音分割性能，并分析人工标注政策的差异。
• 以拍数计算过渡时长，并分析不同 DJ 之间 cue 点偏差，以评估一致性并识别常见的音乐结构。
• 对对齐后的音频片段进行速度调整和调性转置的统计分析，重点关注变化的分布与幅度。

实验结果

研究问题

• RQ1 DJ 在现实世界混音中对原曲的速度和调性修改程度如何？
• RQ2 DJ 在音乐结构上如何对齐曲目之间的过渡，特别是与乐句长度的关系如何？
• RQ3 不同 DJ 对同一首曲目的 cue 点选择在多大程度上一致？其选择偏差的分布如何？
• RQ4 哪种类型的 cue 点（如 cue-in、cue-out 或两者）最接近人工标注的混音分割边界？
• RQ5 在速度和调性调整等音乐变化中，哪些模式反映出 DJ 混音的惯例？

主要发现

• 在 24,202 首匹配曲目中，仅有 2.5% 被转调，且其中 94.3% 的转调仅改变一个半音，表明 DJ 混音中调性变化极少。
• 大多数速度调整都很小，多数曲目保持原始速度，表明 DJ 更倾向于保留原曲的完整性。
• DJ 混音中的过渡时长在每 32 拍达到峰值——这通常是音乐中的一个乐句，表明 DJ 将过渡与舞曲中的结构性重复对齐。
• 在不同 DJ 之间，73.6% 的 cue 点对偏差在 8 小节（32 拍）以内，86.2% 的偏差在 16 小节以内，表明 cue 点位置具有高度一致性。
• 23.6% 的 cue 点对偏差为零，40.4% 的偏差在 1 小节（4 拍）以内，表明 cue 点选择存在共享的惯例。
• 人工标注的混音分割边界最接近下一首曲目的 cue-in 点，表明 DJ 和听众通常将新曲目的开始视为边界。