[論文レビュー] A Computational Analysis of Real-World DJ Mixes using Mix-To-Track Subsequence Alignment

Tae‐Jun Kim, Minsuk Choi+3 more|arXiv (Cornell University)|Aug 24, 2020

Music and Audio Processing参考文献 11被引用数 4

ひとこと要約

本論文は、実世界のDJミックスとオリジナル楽曲を一致させるために、部分列動的時系列歪み（DTW）法を提案する。これにより、キュー・ポイント、トランジション長、音楽的変化の正確な抽出が可能になる。1001Tracklistsから得た1,557のミックスを用いた分析から、DJはキーをほとんど変更しない（全トラックの2.5%のみ変更され、ほとんどが1半音単位）ことが判明。また、異なるDJ間でキュー・ポイントが8小節（73.6%）または16小節（86.2%）以内に一致する傾向があり、共通のクリエイティブな慣習が存在することが示された。

ABSTRACT

A DJ mix is a sequence of music tracks concatenated seamlessly, typically rendered for audiences in a live setting by a DJ on stage. As a DJ mix is produced in a studio or the live version is recorded for music streaming services, computational methods to analyze DJ mixes, for example, extracting track information or understanding DJ techniques, have drawn research interests. Many of previous works are, however, limited to identifying individual tracks in a mix or segmenting it, and the sizes of the datasets are usually small. In this paper, we provide an in-depth analysis of DJ music by aligning a mix to its original music tracks. We set up the subsequence alignment such that the audio features are less sensitive to the tempo or key change of the original track in a mix. This approach provides temporally tight mix-to-track matching from which we can obtain cue-points, transition length, mix segmentation, and musical changes in DJ performance. Using 1,557 mixes from 1001Tracklists including 13,728 tracks and 20,765 transitions, we conduct the proposed analysis and show a wide range of statistics, which may elucidate the creative process of DJ music making.

研究の動機と目的

• トラック識別、セグメンテーション、アライメントに関する従来の小規模で孤立した研究の限界を克服し、実世界のDJミックスを大規模に計算的に分析することを可能にする。
• テンポやキーの変更に対して不変であるよう設計された、ミックスからオリジナルトラックへの部分列DTW手法を確立し、ミックスとオリジナル楽曲の正確なアライメントを保証する。
• 1,557のミックスと13,728のトラックを含む大規模データセットを用いて、キュー・ポイント、トランジション長、音楽的変化を抽出・分析する。
• DJがキュー・ポイント選択、トランジション設計、ピッチ／テンポの操作において共通の音楽的慣習に従っているかどうかを調査する。
• DJミキシングの実践に関する統計的証拠を提供し、今後の自動ミックス生成および音楽情報検索（MIR）分野の研究を支援する。

提案手法

• テンポおよびキーの変更に対して不変な特徴を有する部分列動的時系列歪み（DTW）フレームワークを提案し、DJミックスの音声セグメントをオリジナル楽曲にアライメントする。
• MFCCとキー不変のクロマ特徴量を用いて、ピッチの変調やテンポの変化に対しても耐性を持つアライメントを強化する。
• ワーピングパスからキューイン・ポイントおよびキュー・アウト・ポイントを抽出し、ミックスにおけるトラック境界とトランジション領域を定義する。
• 人間によるアノテーションと比較して、自動抽出されたキュー・ポイントのセグメンテーション性能を評価し、アノテーション方針の差異を分析する。
• ビート単位でトランジション長を計算し、DJ間でのキュー・ポイントのずれを分析して一致度を評価し、共通の音楽的構造を特定する。
• アライメント済みの音声セグメントを用いて、テンポ調整およびキー変更の統計的分析を実施し、変更の分布と大きさに注目する。

実験結果

リサーチクエスチョン

• RQ1 DJは実世界のミックスでオリジナル楽曲のテンポおよびキーをどの程度変更するのか？
• RQ2 DJは音楽的構造、特にフレーズ長に関連して、トラック間のトランジションをどのようにアライメントしているのか？
• RQ3 同じ楽曲に対して異なるDJが選ぶキュー・ポイントはどの程度一貫しているのか？また、それらの選択のずれの分布はどのようなものか？
• RQ4 キューイン・ポイント、キュー・アウト・ポイント、あるいは両方のタイプのうち、どのタイプがミックスセグメンテーションにおける人間アノテーション境界に最も近いか？
• RQ5 テンポやキーの調整といった音楽的変更のパターンには、DJミキシングの慣習を反映するどのような傾向が見られるか？

主な発見

• 24,202の一致したトラックのうち、わずか2.5%が変調されており、その94.3%が1半音単位の変更にとどまっていることから、DJミックスにおけるキー変更は極めて限定的であることが示された。
• テンポ調整の大部分は微小であり、多くの楽曲が元のテンポを維持していることから、DJはオリジナル楽曲の整合性を重視していることがうかがえる。
• DJミックスにおけるトランジション長は32ビートごとにピークを示しており、これは一般的に音楽的フレーズに一致しており、DJがダンス音楽の構造的繰り返しに合わせてトランジションをアライメントしていることを示している。
• 異なるDJ間のキュー・ポイントペアの73.6%が8小節（32ビート）以内にずれており、86.2%が16小節以内にずれていることから、キュー・ポイントの配置に強い一貫性があることが明らかになった。
• キュー・ポイントペアの23.6%がずれがゼロであり、40.4%が1小節（4ビート）以内に収まっていることから、キュー・ポイント選択に共通の慣習があることが示された。
• ミックスセグメンテーションにおける人間アノテーション境界は、次のトラックのキューイン・ポイントと最も一致しており、DJおよび聴衆が新しいトラックの開始を境界として認識していることが示唆された。