[논문 리뷰] Downbeat Tracking with Tempo-Invariant Convolutional Neural Networks

Bruno Di Giorgi, Matthias Mauch외 1명|arXiv (Cornell University)|2020. 10. 11.

Music and Audio Processing참고 문헌 30인용 수 4

한 줄 요약

이 논문은 커널을 척도 불변 패턴과 사전 계산된 스케일링 텐서로 분해함으로써 템포에 의존하지 않는 리듬 패턴을 학습하는 템포 불변 합성곱 신경망(TI-CNN)을 제안한다. 이 방법은 합성 테스트 세트에서 예측되지 않은 템포로의 일반화 성능이 거의 완벽에 가까워지며(F1 = 0.89) 표준 CNN보다 뛰어나다. 반면 표준 CNN은 템포 변화에서 F1 = 0.54로 성능이 급격히 떨어진다.

ABSTRACT

The human ability to track musical downbeats is robust to changes in tempo, and it extends to tempi never previously encountered. We propose a deterministic time-warping operation that enables this skill in a convolutional neural network (CNN) by allowing the network to learn rhythmic patterns independently of tempo. Unlike conventional deep learning approaches, which learn rhythmic patterns at the tempi present in the training dataset, the patterns learned in our model are tempo-invariant, leading to better tempo generalisation and more efficient usage of the network capacity. We test the generalisation property on a synthetic dataset created by rendering the Groove MIDI Dataset using FluidSynth, split into a training set containing the original performances and a test set containing tempo-scaled versions rendered with different SoundFonts (test-time augmentation). The proposed model generalises nearly perfectly to unseen tempi (F-measure of 0.89 on both training and test sets), whereas a comparable conventional CNN achieves similar accuracy only for the training set (0.89) and drops to 0.54 on the test set. The generalisation advantage of the proposed model extends to real music, as shown by results on the GTZAN and Ballroom datasets.

연구 동기 및 목표

• 기존 CNN이 템포에 특정된 리듬 패턴을 학습하고 템포 편향을 겪는다는 한계를 해결한다.
• 딥 뉴럴 네트워크가 템포와 리듬 패턴 학습을 명시적으로 분리함으로써 예측되지 않은 템포로의 일반화를 가능하게 한다.
• 공유된 표현을 활용함으로써 다양한 템포 간 중복된 파rameter 학습을 줄여 모델 효율성을 향상시킨다.
• 다양한 템포를 포함한 실제 음악 데이터셋에서 템포 불변 학습이 성능 향상에 기여하는지를 입증한다.
• 템포 추정이나 데이터 증강에 의존하지 않고도 확장 가능하고 일반화 가능한 다운비트 추적 솔루션을 제공한다.

제안 방법

• 고정된 스케일링 텐서와 학습 가능한 척도 불변 패턴 벡터로 분해된 척도 불변 합성곱 레이어를 도입한다.
• 사전 계산된 스케일링 텐서와 학습 가능한 패턴 간의 내적 곱을 사용해 커널 응답을 생성함으로써, 네트워크가 여러 템포에서 패턴을 탐지할 수 있도록 한다.
• 다운비트 추적에 적합한 CNN 아키텍처에 척도 불변 합성곱 레이어를 적용한 후, 순서 추론을 위해 은닉 마르코프 모델(HMM)을 사용한다.
• 각 시간 프레임에서 다운비트와 템포의 확률 추정을 최적화하는 손실 함수를 사용해 네트워크를 훈련시킨다.
• 훈련 중에 템포 변화를 시뮬레이션하기 위해 결정론적 타임워핑 연산을 적용함으로써 모델이 템포 불변 표현을 학습하도록 유도한다.
• 테스트 시 데이터 증강을 위해 MIDI 데이터를 다양한 템포로 렌더링하고, 다양한 SoundFonts를 사용해 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 명시적인 템포 감시 없이도 예측되지 않은 템포로 일반화되는 리듬 패턴을 학습할 수 있는가?
• RQ2 템포와 리듬 패턴을 분리함으로써 표준 CNN보다 템포 스케일링 테스트 데이터에서 일반화 성능이 향상되는가?
• RQ3 제안된 방법이 예측되지 않은 템포에서 정확도를 유지하거나 향상시키면서 모델 용량을 얼마나 줄일 수 있는가?
• RQ4 실제 음악 데이터셋(GTZAN 및 Ballroom)에서 템포 불변 모델의 성능이 표준 CNN보다 어떻게 다른가?
• RQ5 제안된 아키텍처가 네트워크 용량을 불변 특징 학습에 할당함으로써 일반화를 향상시키는 정규화 요소로 작용할 수 있는가?

주요 결과

• 제안된 템포 불변 CNN은 훈련 및 테스트 세트에서 모두 F1 = 0.89를 기록하여 거의 완벽한 일반화 성능을 입증한다.
• 반면 표준 CNN은 훈련 데이터에선 F1 = 0.89를 기록하지만, 템포 스케일링 테스트 데이터에선 F1 = 0.54로 급격히 성능이 떨어지며 강한 템포 편향이 있음을 보여준다.
• 데이터 증강을 적용한 후에도 표준 CNN은 여전히 템포에 의존하는 성능 곡선을 유지하지만, TI-CNN은 템포 스펙트럼 전반에서 일관된 정확도를 보인다.
• 실제 음악 데이터셋(GTZAN 및 Ballroom)에서 TI-CNN은 정규화로 인해 훈련 세트 성능은 떨어지지만, 검증 및 테스트 세트에서 유의미하게 뛰어난 성능을 보이며(p < 0.001) 향상된다.
• TI-CNN는 표준 CNN(170k)보다 더 적은 파라미터(80k)를 사용하면서도 뛰어난 일반화 성능을 달성하여 모델 용량을 더 효율적으로 활용함을 시사한다.
• 이 방법은 템포와 리듬 패턴을 효과적으로 분리하여 재학습 없이도 다양한 템포 간 학습된 표현을 이식할 수 있다.