[論文レビュー] BeatNet: CRNN and Particle Filtering for Online Joint Beat Downbeat and Meter Tracking

Mojtaba Heydari, Frank Cwitkowitz+1 more|arXiv (Cornell University)|Aug 8, 2021

Music and Audio Processing被引用数 4

ひとこと要約

BeatNetは、フレーム単位の活性化推定にCRNNを用い、時間的推論に二段階のパーティクルフィルタリングを採用する、オンラインで因果的（因果的）なシステムとして、ビート、ダウンビート、メーターの共同推定を実現する。情報ゲートと呼ばれる新規な機構により、不要なリサンプリングステップを飛ばすことでパーティクルフィルタリングの計算量を削減し、最先端のオンライン性能を達成している。

ABSTRACT

The online estimation of rhythmic information, such as beat positions, downbeat positions, and meter, is critical for many real-time music applications. Musical rhythm comprises complex hierarchical relationships across time, rendering its analysis intrinsically challenging and at times subjective. Furthermore, systems which attempt to estimate rhythmic information in real-time must be causal and must produce estimates quickly and efficiently. In this work, we introduce an online system for joint beat, downbeat, and meter tracking, which utilizes causal convolutional and recurrent layers, followed by a pair of sequential Monte Carlo particle filters applied during inference. The proposed system does not need to be primed with a time signature in order to perform downbeat tracking, and is instead able to estimate meter and adjust the predictions over time. Additionally, we propose an information gate strategy to significantly decrease the computational cost of particle filtering during the inference step, making the system much faster than previous sampling-based methods. Experiments on the GTZAN dataset, which is unseen during training, show that the system outperforms various online beat and downbeat tracking systems and achieves comparable performance to a baseline offline joint method.

研究の動機と目的

• 推定時における時間 signatures の事前入力が不要な、リアルタイムでオンライン動作するビート・ダウンビート・メーターの共同推定システムの開発。
• オンラインなリズム構造推定におけるパーティクルフィルタリングの計算非効率性の解消。
• 因果的推論を維持しつつ、オンライン性能を向上させたビートおよびダウンビート推定の実現。
• プリミング（事前入力）なしで推論中にメーター推定と動的調整を可能にする。

提案手法

• 因果的畳み込み・再帰ニューラルネットワーク（CRNN）が音声フレームを処理し、ビートおよびダウンビートの活性化スコアを生成する。
• 二段階のモンテカルロパーティクルフィルタリングを用いる：一つはビートトラッキング、もう一つはダウンビートトラッキング。両者とも時間経過に伴うテンポおよびリズム構造を推定する。
• 情報ゲート機構により、予測の信頼度に基づいてパーティクルフィルタのリサンプリングステップを選択的にスキップし、計算コストを削減する。
• 過去および現在の音声特徴のみを用いて、リアルタイムでビート位置、ダウンビート、および時間 signatures（メーター）を共同で推定する。
• パーティクルフィルタは多様な仮説で初期化され、音声観測値と遷移モデルを用いて反復的に更新される。
• モデルは音声特徴上でエンドツーエンドに学習され、未観測データ上で評価され、因果的でストリーミング形式の推論が行われる。

実験結果

リサーチクエスチョン

• RQ1 推定時における既知の時間 signatures が不要な完全なオンラインシステムが、ビート・ダウンビート・メーターを共同で推定可能か？
• RQ2 リアルタイムなリズムトラッキングにおけるパーティクルフィルタリングの計算コストを低減する最適化法は何か？
• RQ3 CRNNベースの活性化推定器は、先行モデルに比べてオンラインビートおよびダウンビートトラッキングで優れた性能を示せるか？
• RQ4 情報ゲート機構により、トラッキング精度に悪影響を及げることなく、パーティクルフィルタリングの推論時間を著しく短縮可能か？

主な発見

• BeatNetはGTZANデータセットにおいて、他のすべてのオンラインビートおよびダウンビートトラッキングシステムを上回り、ビートトラッキングF1スコア80.64%、ダウンビートトラッキングF1スコア54.07%を達成した。
• 因果的であり、時間 signatures の入力が不要であるにもかかわらず、オフラインベースライン（Böck [20]）と同等の性能を達成した。
• 情報ゲートにより、従来のサンプリングベースの手法と比較して、パーティクルフィルタリングの推論時間を最大75%短縮した。30秒の音声断片では、処理時間が21.30秒から8.87秒に削減された。
• モデルは推論中に動的にメーターを推定・調整可能であり、時間 signatures のプリミングが不要になった。
• BeatNetの性能は、未観測のGTZANデータセットを用いた実験から、多様な音楽ジャンルにわたり安定していることが示された。
• 共同推定フレームワークにおいて、ビートからダウンビートトラッキングへの誤差伝播の連鎖的影響は管理可能であり、オフライン手法と比較して僅かな性能低下にとどまった。