[논문 리뷰] WaveBeat: End-to-end beat and downbeat tracking in the time domain

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|2021. 10. 04.

Music and Audio Processing참고 문헌 34인용 수 6

한 줄 요약

WaveBeat는 수작업으로 만든 스펙트럼 특징을 생략하고 원시 음성 웨이브폼에서 직접 작동하는 종단간(end-to-end) 딥 러닝 모델을 제안한다. 시간적 컨volution 네트워크(TCN)를 사용하여 확장 계수를 급격히 증가시키고, 스트라이드 컨볼루션을 적용함으로써 효율적으로 큰 수신장(≥30초)을 확보하여, 일부 데이터셋—특히 다운비트 추적에서—기존 최고 성능 모델을 능가한다. 이는 강력한 내재된 예측 성능 덕분에 복잡한 후처리가 필요로 하지 않는다는 것을 보여준다.

ABSTRACT

Deep learning approaches for beat and downbeat tracking have brought advancements. However, these approaches continue to rely on hand-crafted, subsampled spectral features as input, restricting the information available to the model. In this work, we propose WaveBeat, an end-to-end approach for joint beat and downbeat tracking operating directly on waveforms. This method forgoes engineered spectral features, and instead, produces beat and downbeat predictions directly from the waveform, the first of its kind for this task. Our model utilizes temporal convolutional networks (TCNs) operating on waveforms that achieve a very large receptive field ($\geq$ 30 s) at audio sample rates in a memory efficient manner by employing rapidly growing dilation factors with fewer layers. With a straightforward data augmentation strategy, our method outperforms previous state-of-the-art methods on some datasets, while producing comparable results on others, demonstrating the potential for time domain approaches.

연구 동기 및 목표

• 원시 음성 웨이브폼에서 직접 작동하는 종단간 비트 및 다운비트 추적 모델을 개발함으로써 수작업으로 만든 스펙트럼 특징에 의존하지 않도록 하는 것.
• 하향된 크기 스펙트로그램을 사용하지 않고도 비트 및 다운비트 추적에서 최고 성능을 달성할 수 있는지 조사하는 것.
• 비트 활성화 개선을 위한 동적 베이지안 네트워크(Dynamic Bayesian Networks)와 같은 복잡한 후처리 단계가 필요한지 평가하는 것.
• 다양한 음악 데이터셋—특히 훈련 분포 외부의 데이터셋—에서 웨이브폼 기반 모델의 일반화 능력을 평가하는 것.
• 스펙트로그램 표현에서 잃어버리는 단계와 진폭 정보를 활용한 시간 도메인 학습의 잠재력을 탐색하는 것.

제안 방법

• 모델는 지수적으로 증가하는 확장 계수(d_l = 8^{l-1})를 가진 시간적 컨볼루션 네트워크(TCN) 아키텍처를 사용하여 적은 수의 레이어로도 큰 수신장(≥30초)을 달성한다.
• 스트라이드 1D 컨볼루션을 통해 입력 음성을 256배로 다운샘플링(8개 레이어, 스트라이드 2)하여 샘플링 주파수를 22.05 kHz에서 86 Hz로 낮춰 계산 비용을 관리한다.
• 네트워크는 원시 웨이브폼을 종단간으로 처리하여 1×1 컨볼루션과 시그모이드 활성화 함수를 통해 비트 및 다운비트 활성도 지ap을 생성한다.
• 랜덤 피치 이동, 필터링, 노이즈 주입, 시간 이동, 프레임 제거, 단계 반전 등의 포괄적인 데이터 증강 전략을 적용한다.
• 비트 및 다운비트 예측은 간단한 피크 편취(아마플리튜드 > 0.5)를 통해 생성되며, 후처리를 위한 사전 훈련된 동적 베이지안 네트워크(DBN)와 성능을 비교한다.
• 표준 메트릭(정밀도-재현율 F-측정, CMLt, AMLt, ±70ms 허용 윈도우)을 사용하여 네 가지 표준 데이터셋(Ballroom, Hainsworth, Beatles, GTZAN)에서 모델를 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 원시 음성 웨이브폼에서 직접 훈련된 종단간 딥 러닝 모델이 수작업으로 만든 스펙트럼 특징을 사용하지 않고도 경쟁 가능한 비트 및 다운비트 추적 성능을 달성할 수 있는가?
• RQ2 TCN 아키텍처에서 급격히 증가하는 확장 계수를 사용함으로써 비트 추적에 필요한 장거리 맥락 모델링이 충분히 가능하면서도 계산 비용이 효율적인가?
• RQ3 종단간 웨이브폼 기반 모델에서 고정밀도 비트 및 다운비트 검출을 위해 복잡한 후처리—예를 들어 동적 베이지안 네트워크—가 필수적인가?
• RQ4 웨이브폼 기반 모델의 일반화 성능는 GTZAN 및 SMC와 같은 분포 외부 데이터셋에서 스펙트로그램 기반 최고 성능 모델과 비교해 어떻게 되는가?
• RQ5 스펙트로그램 대비 시간 도메인에서의 단계 정보가 성능 향상에 얼마나 기여하는가?

주요 결과

• Ballroom 데이터셋에서 WaveBeat는 이전 최고 성능의 스펙트로그램 기반 TCN 모델 대비 다운비트 추적 F-측정에서 4% 향상된 성과를 기록했다.
• Hainsworth 데이터셋에서 WaveBeat는 비트 추적에서 7% 이상, 다운비트 추적에서 23% 이상 향상되어 도전적인 데이터에서 뚜렷한 성능 향상을 보였다.
• Beatles 데이터셋에서는 비트 추적에서 이전 최고 성능 모델과 유사한 성능를 기록했지만, 다운비트 추적에서는 약간 뒤처졌다.
• 분포 외부 데이터셋인 GTZAN 및 SMC에서 WaveBeat는 일반화 능력이 떨어져 스펙트로그램 기반 베이스라인에 비해 성능이 낮았으며, 특히 비트 추적에서 두드러졌다.
• 간단한 피크 편취(아마플리튜드 > 0.5)가 사전 훈련된 DBN 후처리 단계와 유사하거나 더 좋은 성능을 내었으며, Ballroom 데이터셋에서는 DBN 후처리가 F-측정을 오히려 떨어뜨리는 결과를 보여, 이 모델에선 후처리가 필수적이지 않다는 것을 시사한다.