[論文レビュー] Proceedings of the 20th Sound and Music Computing Conference

Roberto Bresin, Kjetil Falkenberg Hansen|arXiv (Cornell University)|Jun 14, 2023

Diverse Musicological Studies被引用数 1

ひとこと要約

本稿では、CREPEの音高追跡結果をもとに、最先端の正確性を達成する軽量な後処理手法であるCREPE Notesを提案する。CREPEの信頼度スコアと音高勾配特徴を正規化・逆転させた信頼度加重勾配に統合することで、低閾値でも堅牢なノート境界検出が可能となり、Filosaxデータセットで82.31%のF-measureを達成し、深層学習手法と比較して97%のパrameter削減を実現した。

ABSTRACT

Proceedings of the 20th Sound and Music Computing Conference. June 15-17, 2023. Stockholm, Sweden. DOI 10.5281/zenodo.8136568 ISBN 978-91-527-7372-7 Conference website: smcnetwork.org/smc2023/ Video recordings of the conference concerts and keynotes: www.youtube.com/@navetresearch

研究の動機と目的

• モノフォニック楽器音楽の transcription タスクにおいて、連続する音高連続波形を離散的な楽器音符に分割する課題に対処すること。
• 発音検出やボーカル特化型特徴に依存する従来のノートセグメンテーション手法は、楽器音楽に対しては効果が低いことから、それらを改善すること。
• 大規模で複雑な深層学習モデルを必要としない、高精度かつ計算効率の良い手法を開発すること。
• CREPEの高精度なf0追跡と信頼度出力を基盤として、堅牢で汎用性の高いノートセグメンテーションを実現すること。
• 単純なアルゴリズム的後処理が、モノフォニックトランスクリプションタスクにおいて、より複雑な深層学習モデルを上回ることを示すこと。

提案手法

• フレーム単位のf0推定値と信頼度スコアを処理し、逆転させた信頼度と正規化された絶対音高勾配の組み合わせ信号を用いてノート境界を検出する。
• 音高勾配を半音単位（対数周波数）で計算することで、音高の知覚的非線形性を反映する。
• 組み合わせ信号は、逆転信頼度（谷を山に変換）と正規化された絶対勾配を乗算することで形成され、ノート遷移部でのピーク検出を強化する。
• 組み合わせ信号のピーク検出に低閾値（0.002）を適用し、候補となるノート境界を特定する。
• 隣接するセグメント間の中央値音高を比較してセグメントを精査：差が1半音以上であれば境界を確定、そうでなければセグメントを統合する。
• 追加処理として、振幅閾値処理（デフォルト15/127）と最小持続時間フィルタリング（30ms）を実施し、無音または誤検出のノートを除去。その後、振幅トリミングにより、発音・終了タイミングを知覚的発音に一致させる。

実験結果

リサーチクエスチョン

• RQ1 単純で深層学習に依存しない後処理手法が、楽器音楽のモノフォニックノートセグメンテーションにおいて、既存の最先端モデルを上回ることができるか？
• RQ2 音高勾配と信頼度特徴を併用することで、単独で使用する場合と比較して、境界検出の堅牢性がどの程度向上するか？
• RQ3 CREPEをバックボーンとして用いる場合、モデルサイズがノートセグメンテーション性能に与える影響はどの程度か？
• RQ4 軽量な手法が、MT3と比較して97%のパrameter削減を達成しつつ、高い正確性を維持できるか？
• RQ5 本手法は、楽器や演奏スタイルにかかわらず一般化可能であり、特に高速またはレガートなパassingにおいても有効か？

主な発見

• Filosaxデータセットにおいて、CREPE Notesは82.31%のF-measureを達成し、PYIN（82.31%）、Basic Pitch（75.54%）、MT3（42.97%）を上回った。
• ITM Flute 99データセットでは、F-measureが66.35%に達し、PYIN（46.44%）、Basic Pitch（59.58%）、MT3（25.47%）を上回った。
• MT3（7700万パラメータ）と比較して、モデルパラメータを97%削減したが、性能は優れていることを確認した。
• 最小のCREPEモデル（0.5Mパラメータ）が、フルモデル（2200万パラメータ）とほぼ同等の性能を示した。これは、中央値音高の平均化によりf0追跡誤差に対して頑健であることを示している。
• 発音ベースの手法がしばしば失敗する高速またはレガートなパassingにおいても、本手法は高い正確性を維持しており、困難な音楽的文脈における有効性を示している。
• 振幅閾値処理とトリミングの適用により、無音または低振幅セグメントに起因する誤検出が顕著に減少し、全体のセグメンテーション品質が向上した。