[논문 리뷰] Beat Transformer: Demixed Beat and Downbeat Tracking with Dilated Self-Attention

Jingwei Zhao, Gus Xia외 1명|arXiv (Cornell University)|2022. 09. 15.

Music and Audio Processing인용 수 8

한 줄 요약

Beat Transformer는 분리된 오디오 소스를 사용하여 공동 비트 및 다운비트 추적을 위한 새로운 트랜스포머 인코더를 제안한다. 이는 확장된 자기주의(attention)와 악기별 주의 메커니즘을 포함하며, TCN 기반 모델 대비 최대 4%의 절대 정확도 향상을 달성하고, 음악적 메트릭스 구조를 반영하는 해석 가능한 계층적 주의 패턴을 학습한다.

ABSTRACT

We propose Beat Transformer, a novel Transformer encoder architecture for joint beat and downbeat tracking. Different from previous models that track beats solely based on the spectrogram of an audio mixture, our model deals with demixed spectrograms with multiple instrument channels. This is inspired by the fact that humans perceive metrical structures from richer musical contexts, such as chord progression and instrumentation. To this end, we develop a Transformer model with both time-wise attention and instrument-wise attention to capture deep-buried metrical cues. Moreover, our model adopts a novel dilated self-attention mechanism, which achieves powerful hierarchical modelling with only linear complexity. Experiments demonstrate a significant improvement in demixed beat tracking over the non-demixed version. Also, Beat Transformer achieves up to 4% point improvement in downbeat tracking accuracy over the TCN architectures. We further discover an interpretable attention pattern that mirrors our understanding of hierarchical metrical structures.

연구 동기 및 목표

• 혼합 오디오 스펙트로그램에만 의존하는 기존 비트 추적 모델의 한계를 해결하기 위해, 풍부한 악기적 및 화성적 단서를 누락하는 문제를 해결한다.
• 분리된 오디오 소스(예: 드럼,베이스,피아노 등)를 통합하여 악기 간 협업과 화성 진행을 모델링함으로써 메트릭스 구조 추론을 향상시킨다.
• 표준 자기주의의 제곱 복잡도를 초월하여 선형 복잡도를 유지하는 계층적 모델링 능력을 갖춘 트랜스포머 아키텍처를 설계한다.
• 비트와 다운비트 단계 전환과 같은 계층적 음악적 구조를 반영하는 해석 가능한 주의 패턴을 가능하게 한다.
• 다양한 벤치마크 데이터셋에서 비트 및 다운비트 추적 성능을 최고 수준으로 달성하며, 특히 다운비트 정확도에서 뛰어난 성능을 입증한다.

제안 방법

• Spleeter를 사용하여 입력 음악을 여러 악기 채널(예: 드럼, 베이스, 피아노, 보컬 등)으로 분리하여 분리된 스펙트로그램 입력을 확보한다.
• 시간별 자기주의(각 채널 내부)와 악기별 자기주의(채널 간)를 결합한 이중 주의 메커니즘을 설계하여 이질적 악기 간 협업을 모델링한다.
• 지수적으로 증가하는 확장률을 가진 확장된 자기주의(Dilated Self-Attention, DSA)를 도입하여 선형 복잡도로 계층적 메트릭스 구조를 효과적으로 포착한다.
• 시간별 주의와 악기별 주의를 번갈아 가며 배치하여 시간적 및 악기적 의존성을 모두 모델링하는 트랜스포머 인코더 아키텍처를 구성한다.
• 주의 행렬을 다단계 마르코프 전이 행렬로 공식화하여 비트 및 다운비트 단계 전이에 대한 모델의 계층적 추론을 해석할 수 있도록 한다.
• 동적 베이지안 네트워크를 활용하여 단계 보정을 수행하는 다중 작업 학습 설정을 통해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 혼합 오디오 스펙트로그램 대비 분리된 오디오 소스를 사용할 경우 비트 및 다운비트 추적 성능이 향상되는가?
• RQ2 트랜스포머 아키텍처 내에서 확장된 자기주의가 선형 계산 복잡도를 유지하면서도 효과적인 계층적 메트릭스 구조 모델링을 가능하게 하는가?
• RQ3 제안된 모델의 주의 메커니즘이 알려진 음악적 단계 전이를 반영하는 유한 상태 마르코프 체인으로 해석될 수 있는가?
• RQ4 다양한 데이터셋에서 최신의 TCN 및 트랜스포머 기반 모델과 비교해 모델 성능은 어떠한가?
• RQ5 악기별 주의가 시간 에너지 엔벨롭과 수직적인 조건에서의 화성적 및 리듬적 단서를 얼마나 잘 포착하는가?

주요 결과

• GTZAN 데이터셋에서 Böck 등 [13]의 TCN 기반 모델 대비 비트 추적 정확도(F-measure)에서 4%p 향상된 성능을 기록했다.
• 비분리된 버전 대비 뚜렷한 성능 향상을 보이며, 특히 다운비트 추적에서 악기적 맥락의 가치를 입증했다.
• 데이터 증강 없이도 높은 성능을 달성하며, 파라미터 수 10.25M로도 경쟁 가능한 성능을 보여, 뛰어난 데이터 효율성을 입증했다.
• 확장된 자기주의 메커니즘이 선형 복잡도를 유지하면서도 높은 성능을 유지하여, 24GB GPU에서도 효율적인 성능을 발휘한다.
• 주의 행렬의 시각화 결과, 모델이 비트 위치 근처에서 오프비트에서 업비트 단계로의 주의 전이를 학습하는 것으로 나타났으며, 인간의 청각적 타이밍과 유사하다.
• 모델은 비트 및 다운비트 위치에 맞춰 정렬된 해석 가능한 계층적 주의 패턴을 학습하여, 음악적으로 의미 있는 방식으로 메트릭스 구조를 모델링할 수 있음을 확인했다.