[論文レビュー] WaveBeat: End-to-end beat and downbeat tracking in the time domain

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|Oct 4, 2021

Music and Audio Processing参考文献 34被引用数 6

ひとこと要約

WaveBeatは、手作業で設計されたスペクトル特徴を回避し、直接生波形に処理を行うエンドツーエンドのディーブラーニングモデルを提案する。時間的畳み込みネットワーク（TCN）を用い、急速に増加する拡張係数とストライド付き畳み込みを組み合わせることで、計算コストを抑えつつ大きな受容 field（≥30秒）を実現し、一部のデータセット、特にダウンビート追跡において、先行する最先端手法を上回る性能を達成した。また、予測性能が優れているため、複雑な後処理は不要であることが示された。

ABSTRACT

Deep learning approaches for beat and downbeat tracking have brought advancements. However, these approaches continue to rely on hand-crafted, subsampled spectral features as input, restricting the information available to the model. In this work, we propose WaveBeat, an end-to-end approach for joint beat and downbeat tracking operating directly on waveforms. This method forgoes engineered spectral features, and instead, produces beat and downbeat predictions directly from the waveform, the first of its kind for this task. Our model utilizes temporal convolutional networks (TCNs) operating on waveforms that achieve a very large receptive field ($\geq$ 30 s) at audio sample rates in a memory efficient manner by employing rapidly growing dilation factors with fewer layers. With a straightforward data augmentation strategy, our method outperforms previous state-of-the-art methods on some datasets, while producing comparable results on others, demonstrating the potential for time domain approaches.

研究の動機と目的

• 生波形に直接処理を行うエンドツーエンドのビートおよびダウンビート追跡モデルの開発。手作業で設計されたスペクトル特徴に依存しない。
• サブサンプルされたマグニチュードスペクトログラムを使用せずに、ビートおよびダウンビート追跡で最先端の性能を達成できるかの調査。
• ビート活性化の最適化に用いられる動的ベイジアンネットワーク（DBN）のような複雑な後処理ステージが、エンドツーエンドの波形ベースモデルにおいて必要かどうかの評価。
• 特にトレーニング分布外のデータセットにおいて、波形ベースのモデルの一般化能力を評価すること。
• スペクトログラム表現で失われる位相および振幅情報を利用した時間領域学習の、音楽信号処理タスクへの潜在的貢献の調査。

提案手法

• 拡張係数を指数関数的に増加させる（d_l = 8^{l-1}）時間的畳み込みネットワーク（TCN）アーキテクチャを採用し、少ない層数で大きな受容 field（≥30秒）を実現する。
• ストライド付き1次元畳み込みにより、入力音声を256倍（8層、ストライド2）でダウンサンプリングし、22.05 kHzのサンプルレートを86 Hzに低下させ、計算コストを管理する。
• ネットワークは生波形をエンドツーエンドで処理し、1×1畳み込みとシグモイド活性化関数を用いてビートおよびダウンビートの活性マップを出力する。
• ランダムなピッチシフト、フィルタリング、ノイズ注入、時間シフト、フレームの欠落、位相反転を含む包括的なデータ拡張戦略を適用する。
• ビートおよびダウンビート予測は、単純なピーク検出（振幅 > 0.5）により生成され、事前学習済みの動的ベイジアンネットワーク（DBN）による後処理と性能を比較する。
• 標準的な指標（F-measure、CMLt、AMLt、±70 msの許容ウィンドウ）を用い、4つの標準データセット（Ballroom、Hainsworth、Beatles、GTZAN）でモデルをトレーニングおよび評価する。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計されたスペクトル特徴を使用せず、生波形に直接トレーニングされたエンドツーエンドのディーブラーニングモデルは、競争力のあるビートおよびダウンビート追跡性能を達成できるか？
• RQ2 TCNアーキテクチャにおいて急速に増加する拡張係数を用いることで、計算コストを抑えつつ、ビート追跡に必要な十分な長距離の文脈モデリングが可能か？
• RQ3 エンドツーエンドの波形ベースモデルにおいて、高精度なビートおよびダウンビート検出のために、動的ベイジアンネットワークのような複雑な後処理が必要か？
• RQ4 GTZAN や SMC のような分布外データセットにおいて、波形ベースのモデルの一般化性能は、スペクトログラムベースの最先端モデルと比べてどうか？
• RQ5 スペクトログラムと比較して、時間領域における位相情報が、性能向上にどの程度貢献するか？

主な発見

• Ballroomデータセットにおいて、WaveBeatは、従来のスペクトログラムベースのTCNモデルに比べ、ダウンビート追跡のF-measureで4%の向上を達成した。
• Hainsworthデータセットでは、ビート追跡で7%以上、ダウンビート追跡で23%以上の向上を示し、特に困難なデータに対して顕著な性能向上を確認した。
• Beatlesデータセットでは、ビート追跡において従来の最先端手法と同等の性能を示したが、ダウンビート追跡ではわずかに劣っていた。
• 分布外のGTZANおよびSMCデータセットでは、WaveBeatの一般化性能がやや低く、特にビート追跡においてスペクトログラムベースのベースラインより性能が劣った。
• 単純なピーク検出（振幅 > 0.5）が、事前学習済みのDBN後処理ステップと同等またはそれ以上の性能を達成した。また、BallroomデータセットではDBN後処理がF-measureを低下させる結果となり、このモデルでは後処理が必ずしも必要でないことが示唆された。