[論文レビュー] Few-Shot Drum Transcription in Polyphonic Music

Yu Wang, Justin Salamon+3 more|arXiv (Cornell University)|Aug 6, 2020

Music and Audio Processing参考文献 29被引用数 9

ひとこと要約

本稿では、合成データセット上で訓練されたプロトタイプネットワークを用いて、推論時におけるラベル付き例が僅か数個で新しいドラムサウンドを認識できる、多音楽器楽曲におけるオープンボリューム自動ドラムトランスcriptionの few-shot ラーニング手法を提案する。この手法は、固定ボリューム設定下で最先端の教師ありモデルと同等またはそれ以上の性能を達成し、訓練中に見られなかったより細かく分類された楽器クラスへも効果的に一般化する。

ABSTRACT

Data-driven approaches to automatic drum transcription (ADT) are often limited to a predefined, small vocabulary of percussion instrument classes. Such models cannot recognize out-of-vocabulary classes nor are they able to adapt to finer-grained vocabularies. In this work, we address open vocabulary ADT by introducing few-shot learning to the task. We train a Prototypical Network on a synthetic dataset and evaluate the model on multiple real-world ADT datasets with polyphonic accompaniment. We show that, given just a handful of selected examples at inference time, we can match and in some cases outperform a state-of-the-art supervised ADT approach under a fixed vocabulary setting. At the same time, we show that our model can successfully generalize to finer-grained or extended vocabularies unseen during training, a scenario where supervised approaches cannot operate at all. We provide a detailed analysis of our experimental results, including a breakdown of performance by sound class and by polyphony.

研究の動機と目的

• ドラムサウンドの固定で小規模なボリュームに制限される教師ありADTモデルの限界を解消すること。
• 訓練中に登場しなかったボリューム外または細分化されたパーカッション楽器クラスに対しても自動ドラムトランスcriptionを可能にすること。
• 推論時に各ターゲット楽器に対して僅か数例の例のみを必要とすることで、人的ラベル作業を最小限に抑えること。
• 複数の同時に発生するドラムヒットを扱える多音楽器楽曲に対応する few-shot ラーニングフレームワークを構築すること。
• サポートセットの例における多音楽器性がモデル性能に与える影響を調査し、効果的な例選択の指針を提示すること。

提案手法

• 大規模な合成ドラムデータセット（Slakh2100）上でプロトタイプネットワークを訓練し、ドラムサウンドの判別的埋め込みを学習する。
• エピソード学習を用いて、各エピソードが各クラスに対して僅か数個のサポート例を含む few-shot 分類タスクをシミュレートする。
• 推論時、各ターゲットドラムサウンドをそのラベル付き例の埋め込みの平均値としてプロトタイプとして表現する。
• 各音声フレームについて、各プロトタイプまでの距離を計算し、最も近いクラスを予測楽器として選ぶ。
• 多音楽器性を扱うために、1つの楽器を1つのバイナリ分類問題として順次トランスクリプションする。これにより多ラベルの複雑さを回避する。
• 後処理を適用し、発音タイミングを精緻化し、尤度スコアから記号的ドラムトランスクリプションを生成する。

実験結果

リサーチクエスチョン

• RQ1 各楽器に対して僅か数個のラベル付き例しか与えられない状況でも、few-shot ラーニングモデルが標準ADTベンチマークで競争力のある性能を達成できるか？
• RQ2 訓練データに存在しない楽器クラス（すなわち、オープンボリューム一般化）をトランスクリプションする際、モデルの性能はいかがなものか？
• RQ3 サポートセットの例における多音楽器性（すなわち、ターゲット例）が、ドラムイベントの正しく正確なトランスクリプション能力に与える影響は？
• RQ4 固定ボリューム設定下で、最先端の教師ありADTシステムと比較して、モデルは性能を上回るか、同等か？
• RQ5 トランスクリプション精度を最大化するために、多音楽器性と楽器内容の観点から、最適なサポート例選択戦略は何か？

主な発見

• few-shot モデルは、固定ボリューム設定下で標準ベンチマークにおいて最先端の教師ありADTシステムと同等またはそれ以上の性能を達成し、Slakh2100 では F-measure 0.66、FMA では F-measure 0.62 を達成した。
• モデルは、訓練時に10クラスで学習し、テスト時に3つの保留済みクラスを用いた場合、F-measure 0.83 を達成し、未観測でより細分化された楽器クラスへも効果的に一般化した。
• サポートセットの多音楽器性がクエリ音声と一致する場合に性能が最も高く、多音楽器性が高くなるほど、一貫性のある楽器コンビネーションが得られ、F-measure が上昇する。
• 多音楽器性が不一致する場合、クエリよりもサポートセットの多音楽器性が低い場合にモデルの性能が向上し、高多音楽器性のサポート例はモデルを混乱させる可能性がある。
• モデルは、元の訓練ボリュームに含まれない楽器をトランスクリプションしても強力な性能を維持しており、成功したオープンボリューム一般化を示している。
• 結果から、特に多音楽器性と楽器内容を含むサポートセットの構成が性能に顕著に影響することが示され、推論時におけるインformedな例選択の重要性が浮き彫りになった。