[논문 리뷰] A Computational Analysis of Real-World DJ Mixes using Mix-To-Track Subsequence Alignment

Tae‐Jun Kim, Minsuk Choi외 3명|arXiv (Cornell University)|2020. 08. 24.

Music and Audio Processing참고 문헌 11인용 수 4

한 줄 요약

이 논문은 실제 DJ 믹스와 원본 트랙을 정렬하기 위해 부분 수열 동적 시간 왜곡(DTW) 방법을 제안하며, 쿠 포인트, 전환 길이, 음악적 변화를 정확하게 추출할 수 있도록 한다. 1,001Tracklists에서 확보한 1,557개의 믹스를 활용한 연구 결과, 디제이들은 흔히 옮기는 키를 거의 사용하지 않으며(전체 트랙의 2.5%만 이질적 키로 변경되었고, 대부분 한 테두리 단위로), 다양한 디제이 간에 쿠 포인트를 약 8소절(73.6%) 또는 16소절(86.2%) 이내로 일치시키는 경향이 있어 공통된 창작 관례를 따르는 것으로 나타났다.

ABSTRACT

A DJ mix is a sequence of music tracks concatenated seamlessly, typically rendered for audiences in a live setting by a DJ on stage. As a DJ mix is produced in a studio or the live version is recorded for music streaming services, computational methods to analyze DJ mixes, for example, extracting track information or understanding DJ techniques, have drawn research interests. Many of previous works are, however, limited to identifying individual tracks in a mix or segmenting it, and the sizes of the datasets are usually small. In this paper, we provide an in-depth analysis of DJ music by aligning a mix to its original music tracks. We set up the subsequence alignment such that the audio features are less sensitive to the tempo or key change of the original track in a mix. This approach provides temporally tight mix-to-track matching from which we can obtain cue-points, transition length, mix segmentation, and musical changes in DJ performance. Using 1,557 mixes from 1001Tracklists including 13,728 tracks and 20,765 transitions, we conduct the proposed analysis and show a wide range of statistics, which may elucidate the creative process of DJ music making.

연구 동기 및 목표

• 이전의 소규모이고 단독적인 연구에서의 트랙 식별, 분할, 정렬에 한계가 있었음을 고려해, 실제 세계의 DJ 믹스에 대한 대규모 계산적 분석을 가능하게 하는 것.
• 템포와 키 변경에 대해 불변인, 믹스에서 트랙으로의 부분 수열 DTW 방법을 개발하여 믹스와 원본 트랙 간 정확한 정렬을 보장하는 것.
• 1,557개 믹스와 13,728개 트랙의 대규모 데이터셋을 활용해 쿠 포인트, 전환 길이, 음악적 변화를 추출하고 분석하는 것.
• 디제이들이 쿠 포인트 선택, 전환 설계, 톤/템포 조작에서 공통된 음악적 관례를 따르는지 조사하는 것.
• 자동 믹스 생성 및 음악 정보 검색(MIR) 분야의 향후 연구를 뒷받침할 통계적 증거를 제공하는 것.

제안 방법

• 템포와 키 변경에 대해 불변인 음성 특징을 사용하여, DJ 믹스의 음성 세그먼트를 원본 트랙에 정렬하는 부분 수열 동적 시간 왜곡(DTW) 프레임워크를 제안한다.
• 템포 변화 및 키 이동에 대한 강건성을 향상시키기 위해 MFCC와 키에 불변인 크로마 특징을 사용한다.
• 왜곡 경로에서 쿠 인 및 쿠 아웃 포인트를 추출하여 믹스 내 트랙 경계와 전환 영역을 정의한다.
• 인간이 애너테이션한 경계와 비교하여 자동으로 추출된 쿠 포인트의 성능을 평가하고, 인간 애너테이션 정책의 차이를 분석한다.
• 비트 단위로 전환 길이를 계산하고, 다양한 디제이 간 쿠 포인트 이격도를 분석하여 일치도를 평가하고 공통적인 음악적 구조를 식별한다.
• 정렬된 음성 세그먼트를 활용해 템포 조정과 키 이동에 대한 통계 분석을 수행하며, 변화의 분포와 크기를 중심으로 분석한다.

실험 결과

연구 질문

• RQ1 디제이들은 실제 믹스에서 원본 트랙의 템포와 키를 얼마나 수정하는가?
• RQ2 디제이들은 음악적 구조, 특히 구절 길이와 관련하여 트랙 간 전환을 어떻게 정렬하는가?
• RQ3 다른 디제이들이 동일한 트랙에 대해 선택한 쿠 포인트는 얼마나 일관된가? 그들의 선택 간 이격도 분포는 어떠한가?
• RQ4 쿠 포인트 유형 중(예: 쿠 인, 쿠 아웃, 또는 둘 다) 인간이 애너테이션한 경계와 가장 잘 일치하는가?
• RQ5 디제이 믹싱 관례를 반영하는 템포나 키 조정과 같은 음악적 변화 패턴은 어떤가?

주요 결과

• 24,202개의 매칭된 트랙 중 단 2.5%만 이질적 키로 변경되었고, 이 중 94.3%는 단 한 테두리 단위로 변경되어 디제이 믹스에서의 키 변경이 극히 미미함을 시사한다.
• 대부분의 템포 조정은 작았으며, 대부분의 트랙이 원래 템포를 유지하여 디제이들이 원본 트랙의 통합성을 우선시함을 나타낸다.
• DJ 믹스의 전환 길이는 32비트마다 피크를 이룹니다—일반적으로 음악적 구절에 해당하여, 디제이들이 댄스 음악의 구조적 반복과 전환을 일치시킴을 시사한다.
• 다양한 디제이 간 쿠 포인트 쌍 중 73.6%는 8소절(32비트) 이내로 이격되어 있었고, 86.2%는 16소절 이내로 일치하여 쿠 포인트 배치에 강한 일치도를 보임을 나타낸다.
• 쿠 포인트 쌍의 23.6%는 완전히 일치했고, 40.4%는 1소절(4비트) 이내로 일치하여 쿠 포인트 선택에 공통된 관례가 있음을 시사한다.
• 믹스 분할에서 인간이 애너테이션한 경계는 다음 트랙의 쿠 인 포인트와 가장 잘 일치한다. 이는 디제이와 청취자가 새로운 트랙의 시작을 경계로 인식하는 경향이 있음을 시사한다.