[論文レビュー] Beat Transformer: Demixed Beat and Downbeat Tracking with Dilated Self-Attention

Jingwei Zhao, Gus Xia+1 more|arXiv (Cornell University)|Sep 15, 2022

Music and Audio Processing被引用数 8

ひとこと要約

Beat Transformerは、分離音源を用いた共同ビート・ダウンビート追跡のための新しい変換器エンコーダーを提案する。拡張自己注意機構と楽器別注意機構を備え、TCNベースのモデルと比較して最大4%の絶対的精度向上を達成するとともに、音楽的メトリカル構造を反映する解釈可能な階層的注意パターンを学習する。

ABSTRACT

We propose Beat Transformer, a novel Transformer encoder architecture for joint beat and downbeat tracking. Different from previous models that track beats solely based on the spectrogram of an audio mixture, our model deals with demixed spectrograms with multiple instrument channels. This is inspired by the fact that humans perceive metrical structures from richer musical contexts, such as chord progression and instrumentation. To this end, we develop a Transformer model with both time-wise attention and instrument-wise attention to capture deep-buried metrical cues. Moreover, our model adopts a novel dilated self-attention mechanism, which achieves powerful hierarchical modelling with only linear complexity. Experiments demonstrate a significant improvement in demixed beat tracking over the non-demixed version. Also, Beat Transformer achieves up to 4% point improvement in downbeat tracking accuracy over the TCN architectures. We further discover an interpretable attention pattern that mirrors our understanding of hierarchical metrical structures.

研究の動機と目的

• 混合音源スペクトログラムに依存する既存のビート追跡モデルの限界を解決する。これには、豊富な楽器的・和声的手がかりが欠落している。
• 分離音源（例：ドラム、ベース、ピアノ）を組み込むことで、楽器の協調性と和声進行をモデル化し、メトリカル構造の推論を向上させる。
• 標準的な自己注意機構の二次的計算量の問題を克服するため、線形計算量を維持しつつ階層的モデリング能力を持つ変換器アーキテクチャを設計する。
• ビートとダウンビートの位相遷移を反映する解釈可能な階層的注意パターンを実現する。
• 複数のベンチマークデータセットにおいて、特にダウンビート精度で最先端の性能を示す。

提案手法

• Spleeterを用いて入力音楽を複数の楽器チャンネル（例：ドラム、ベース、ピアノ、ボーカル）に分解し、分離スペクトログラムを入力とする。
• 時間的自己注意（各チャンネル内）と楽器別自己注意（チャンネル間）を組み合わせた二重注意機構を設計し、クロス楽器協調性をモデル化する。
• 指数的に増加する拡張率を有する拡張自己注意（DSA）を導入し、線形計算量で階層的メトリカル構造を捕捉する。
• 時間的注意と楽器別注意を交互に配置した層を用いて、変換器エンコーダーを構築し、時間的および楽器的依存関係を両方モデル化する。
• 注意行列をマルチステップのマルコフ遷移行列として形式化し、ビートとダウンビートの位相遷移における階層的推論を解釈可能にする。
• 動的ベイジアンネットワークを用いて位相の精緻化を図り、ビート・ダウンビート・テンポ推定を統合的に学習するマルチタスク学習設定で、エンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 混合音源スペクトログラムと比較して、分離音源を用いることで、ビートおよびダウンビート追跡性能が向上するか？
• RQ2 変換器アーキテクチャにおける拡張自己注意機構は、線形計算量を維持しつつ、効果的な階層的メトリカル構造モデリングを可能にするか？
• RQ3 提案モデルの注意機構は、既知の音楽的位相遷移を反映する有限状態のマルコフ連鎖として解釈可能か？
• RQ4 多様なデータセットにおいて、最先端のTCNおよび変換器ベースのモデルと比較して、本モデルの性能はどの程度か？
• RQ5 楽器別注意機構は、時間的エネルギーエンVELOープとは直交するハーモニックおよびリズミカルな手がかりをどの程度捉えているか？

主な発見

• Beat Transformerは、未観測のGTZANデータセットにおいて、Böckら[13]のTCNベースモデルと比較して、ダウンビートFスコアで4%ポイントの向上を達成した。
• 非分離バージョンと比較して、特にダウンビート追跡において顕著な性能向上を示し、楽器的文脈の価値を裏付けた。
• データオーギュメンテーションなし（Ours w/o Aug.）の設定でも、わずか10.25Mパラメータで競争力のある性能を達成し、優れたデータ効率性を示した。
• 拡張自己注意機構により、線形計算量を維持しながらも高い性能を発揮し、24GBのGPUでも効率的な運用が可能である。
• 注意行列の可視化から、モデルがビート位置周辺でオフビートからアンビートへの注意の遷移を学習していることが明らかになった。これは人間の知覚的タイミングと一致する。
• モデルは、ビートおよびダウンビート位置に一致する解釈可能な階層的注意パターンを学習しており、音楽的に意味のある方法でメトリカル構造をモデル化できていることを確認した。