[논문 리뷰] Uncovering audio patterns in music with Nonnegative Tucker Decomposition for structural segmentation

Axel Marmoret, Jérémy E. Cohen외 2명|arXiv (Cornell University)|2020. 10. 11.

Music and Audio Processing참고 문헌 2인용 수 5

한 줄 요약

이 논문은 히트 팝 음악에서 바 단위 음악 패턴을 드러내고 효과적인 구조적 분할을 가능하게 하기 위해 시간-주파수-바 텐서 표현의 비음수 터커 분해(NTD)를 제안한다. 이 방법은 최적의 랭크가 선택될 경우 기준 방법을 능가하고 최첨단 성능에 가까운 결과를 달성하여, 희소하고 해석 가능한 음성 특징 학습에 있어 NTD의 잠재력을 입증한다.

ABSTRACT

Recent work has proposed the use of tensor decomposition to model repetitions and to separate tracks in loop-based electronic music. The present work investigates further on the ability of Nonnegative Tucker Decompositon (NTD) to uncover musical patterns and structure in pop songs in their audio form.Exploiting the fact that NTD tends to express the content of bars as linear combinations of a few patterns, we illustrate the ability of the decomposition to capture and single out repeated motifs in the corresponding compressed space, which can be interpreted from a musical viewpoint. The resulting features also turn out to be efficient for structural segmentation, leading to experimental results on the RWC Pop data set which are potentially challenging state-of-the-art approaches that rely on extensive example-based learning schemes.

연구 동기 및 목표

• 히트 팝 노래의 중단기 음악적 구조를 포괄하는 희소하고 해석 가능한 음성 표현을 개발하기 위해.
• 비음수 터커 분해(NTD)가 원시 음향 스펙트로그램에서 주목할 만한 바 단위 패턴을 추출할 수 있는지 조사하기 위해.
• RWC Pop 데이터셋에서 NTD 유도 특징의 구조적 분할 효과를 평가하기 위해.
• 눈멀게 하는 방법들과 데이터 소비가 많은 최첨단 접근 방식과의 비교를 통해 NTD 기반의 분할 성능을 평가하기 위해.

제안 방법

• 시간-주파수-바 텐서 X를 F×T×B 크기의 제3차 텐서로 표현하며, F=12(크로마), T는 바당 프레임 수, B는 총 바 수로, 일정-Q 변환에서 유도된 크로마그램을 사용한다.
• 비음수 터커 분해(NTD)를 적용하여 X를 코어 텐서 𝒢와 세 개의 비음수 인자 행렬 W, H, Q로 분해함으로써 저랭크 압축을 달성한다.
• 코어 텐서와 인자 행렬을 사용하여 각 바의 압축된 표현을 재구성함으로써, 몇몇 기저 성분의 선형 조합을 통한 패턴 탐지가 가능해진다.
• 압축된 표현에서 자동유사도 행렬을 구성하여 반복적인 모티프와 구조적 경계를 탐지한다.
• 분할 F-측도를 최대화하기 위해 교차검증과 오라클 선택을 통해 NTD 랭크 T′ 및 B′를 최적화한다.
• 0.5초 및 3초의 허용 창을 사용하여 정밀도, 재현율, F-측도를 평가하여 기준 방법들과 원시 크로마그램 기반 자동유사도와 비교한다.

실험 결과

연구 질문

• RQ1 비음수 터커 분해(NTD)는 원시 음성에서 히트 팝 음악의 바 단위 반복 음악 모티프를 효과적으로 드러낼 수 있는가?
• RQ2 NTD 유도 특징 표현은 원시 시간-주파수 표현에 비해 구조적 분할에서 어떻게 성능을 발휘하는가?
• RQ3 랭크 선택(T′, B′)이 분할 성능에 미치는 영향은 무엇이며, 오라클 유사 랭크 선택이 성능의 상한선을 제공할 수 있는가?
• RQ4 NTD 기반 접근 방식은 눈멀게 하는 분할 방법을 능가하고, 데이터 집약적인 최첨단 기술과 경쟁할 수 있는가?
• RQ5 NTD 표현은 자동유사도 행렬의 대비를 어느 정도 향상시켜 구조적 경계 탐지에 기여하는가?

주요 결과

• 현실적인 교차검증 조건에서 NTD 기반 분할은 기준 눈멀게 하는 방법을 능가했으며, RWC Pop 데이터셋에서 경쟁 가능한 F-측도 점수를 달성했다.
• 오라클 랭크 선택 조건에서 NTD는 최첨단 접근 방식을 뛰어넘는 높은 F-측도를 기록하여, 효과적인 랭크 선택과 결합될 경우 강력한 잠재력을 보여주었다.
• NTD 유도 자동유사도 행렬은 원시 크로마그램의 것보다 더 뛰어난 대비를 보였으며, 구조적 경계 탐지에 기여했다.
• 이 방법은 자연스럽게 분할 경계를 다운비트와 일치시키며, 팝 음악에서 섹션 대부분이 다운비트에서 시작하는 점을 감안할 때 이는 이점을 제공할 수 있다.
• 코어 텐서와 인자 행렬은 압축 표현 내에서 반복적인 카드 진행과 멜로디 모티프와 같은 해석 가능한 음악 패턴을 드러냈다.
• 랭크 T′ 및 B′는 성능에 크게 영향을 미쳤으며, 교차검증 조건에서는 각각 40과 28(홀수 곡) 또는 48과 24(짝수 곡)의 최적 값이 발견되었고, 오라클 조건에서는 곡별로 다름이 있었다.