[논문 리뷰] BeatNet: CRNN and Particle Filtering for Online Joint Beat Downbeat and Meter Tracking

Mojtaba Heydari, Frank Cwitkowitz외 1명|arXiv (Cornell University)|2021. 08. 08.

Music and Audio Processing인용 수 4

한 줄 요약

BeatNet는 프레임 단위 활성도 추정을 위한 CRNN과 시간적 추론을 위한 이중 단계 입자 필터링을 사용하는 온라인, 인과적 시스템을 제안한다. 정보 게이트라는 새로운 메커니즘을 통해 불필요한 재표본 추출 단계를 생략함으로써 입자 필터링의 계산량을 줄여 최신 기술 수준의 온라인 성능을 달성한다.

ABSTRACT

The online estimation of rhythmic information, such as beat positions, downbeat positions, and meter, is critical for many real-time music applications. Musical rhythm comprises complex hierarchical relationships across time, rendering its analysis intrinsically challenging and at times subjective. Furthermore, systems which attempt to estimate rhythmic information in real-time must be causal and must produce estimates quickly and efficiently. In this work, we introduce an online system for joint beat, downbeat, and meter tracking, which utilizes causal convolutional and recurrent layers, followed by a pair of sequential Monte Carlo particle filters applied during inference. The proposed system does not need to be primed with a time signature in order to perform downbeat tracking, and is instead able to estimate meter and adjust the predictions over time. Additionally, we propose an information gate strategy to significantly decrease the computational cost of particle filtering during the inference step, making the system much faster than previous sampling-based methods. Experiments on the GTZAN dataset, which is unseen during training, show that the system outperforms various online beat and downbeat tracking systems and achieves comparable performance to a baseline offline joint method.

연구 동기 및 목표

• 시간 표기 정보를 사전에 입력받지 않고도 실시간 온라인으로 비트, 다운비트, 박자를 동시 추적할 수 있는 시스템을 개발하는 것.
• 온라인 리듬적 구조 추정에서 입자 필터링의 계산 비효율성 문제를 해결하는 것.
• 인과적 추론을 유지하면서도 온라인 비트 및 다운비트 추적 성능을 향상시키는 것.
• 프리밍 없이도 추론 중에 박자 추정과 동적 조정이 가능하도록 하는 것.

제안 방법

• 인과적 컨volution-순환 신경망(CRNN)이 오디오 프레임을 처리하여 비트 및 다운비트 활성도 점수를 생성한다.
• 두 개의 순차적 몬테카를로 입자 필터를 사용한다: 하나는 비트 추적을 위해, 다른 하나는 다운비트 추적을 위해 사용되며, 둘 다 시간에 따라 템포와 리듬적 구조를 추정한다.
• 예측 신뢰도에 기반해 정보 게이트 메커니즘이 입자 필터의 재표본 추출 단계를 선택적으로 생략함으로써 계산 비용을 감소시킨다.
• 오직 과거 및 현재 오디오 특징만을 사용하여 실시간으로 비트 위치, 다운비트, 시간 표기(박자)를 동시 추정한다.
• 입자 필터는 다양한 가설로 초기화되며, 오디오 관측치와 전이 모델을 사용해 반복적으로 갱신된다.
• 모델은 오디오 특징에 대해 엔드 투 엔드로 훈련되며, 미리 보지 않은 데이터에서 평가되며, 인과적 스트리밍 방식으로 추론가 수행된다.

실험 결과

연구 질문

• RQ1 추론 시 알려진 시간 표기 없이도 완전히 온라인으로 비트, 다운비트, 박자를 동시 추정할 수 있는가?
• RQ2 실시간 리듬 추적을 위해 입자 필터링을 어떻게 최적화하여 계산 비용을 줄일 수 있는가?
• RQ3 CRNN 기반 활성도 추정기 모델이 이전 모델보다 온라인 비트 및 다운비트 추적에서 우월한 성능을 보일 수 있는가?
• RQ4 정보 게이트 메커니즘이 추적 정확도를 떨어뜨리지 않고도 입자 필터링의 추론 시간을 크게 줄일 수 있는가?

주요 결과

• BeatNet는 GTZAN 데이터셋에서 모든 다른 온라인 비트 및 다운비트 추적 시스템을 압도하며, 비트 추적 F1 점수 80.64%와 다운비트 추적 F1 점수 54.07%를 달성한다.
• 비록 인과적 구조이자 시간 표기 입력이 없음에도 불구하고, 오프라인 기준선(Böck [20])과 유사한 성능을 달성한다.
• 정보 게이트 덕분에 기존의 표본 기반 방법 대비 입자 필터링 추론 시간을 최대 75% 감소시켰으며, 30초 분량의 추출 영상에서 처리 시간을 21.30초에서 8.87초로 단축시켰다.
• 모델은 추론 중에 동적으로 박자를 추정하고 조정할 수 있어 시간 표기 프리밍이 필요 없어졌다.
• BeatNet의 성능은 GTZAN 데이터셋에서의 미리 보지 않은 음악 스타일에 걸쳐 뛰어난 안정성을 보였다.
• 공동 추정 프레임워크는 비트에서 다운비트 추적으로 이르는 누적 오류 전파가 관리 가능하며, 오프라인 방법 대비 성능 저하가 미미한 것으로 나타났다.