[論文レビュー] Multitask Learning for Fundamental Frequency Estimation in Music

Rachel Bittner|arXiv (Cornell University)|Sep 2, 2018

Music and Audio Processing参考文献 38被引用数 12

ひとこと要約

本論文では、共通のバックボーンネットワークとタスク固有のヘッドを備えたマルチタスク深層学習モデルを提案し、複数の音楽タスク（複数f0推定、メロディ、ボーカル、ベースライン推定）を同時に推定する。このモデルは、単一タスクベースラインを上回り、タスク数を増やすことで性能が向上し、合成データを用いた学習でも同様の傾向を示す。これは、ポリフォニック音楽におけるf0推定において、共有表現学習の利点を示している。

ABSTRACT

Fundamental frequency (f0) estimation from polyphonic music includes the tasks of multiple-f0, melody, vocal, and bass line estimation. Historically these problems have been approached separately, and only recently, using learning-based approaches. We present a multitask deep learning architecture that jointly estimates outputs for various tasks including multiple-f0, melody, vocal and bass line estimation, and is trained using a large, semi-automatically annotated dataset. We show that the multitask model outperforms its single-task counterparts, and explore the effect of various design decisions in our approach, and show that it performs better or at least competitively when compared against strong baseline methods.

研究の動機と目的

• 音楽におけるラベル付きf0データの不足を、関連するf0推定タスク間でのマルチタスク学習を活用することで解決すること。
• メロディ、ボーカル、ベース、複数f0タスク間での表現共有を通じて、f0推定の汎化性能と性能を向上させること。
• ピアノ／ギターの合成音声を学習に含めることで、現実世界のポリフォニック音楽への汎化性能が向上するかを検証すること。
• 共有表現学習がなされても、マルチタスク学習がタスク固有のモデルを上回るかを検証すること。
• 現在のf0推定における限界、特にボイス検出およびトーン色の識別に関する課題を特定し、改善策を提案すること。

提案手法

• 生の音声を処理する共通の畳み込みニューラルネットワークバックボーンが、すべてのタスクに共通する階層的特徴を抽出する。
• 共有特徴にタスク固有のヘッドを接続し、メロディ、ボーカル、ベース、複数f0推定のf0を予測する。
• 調波CQT（HCQT）をマスクして非調波成分を抑制し、ピッチ関連の特徴に注目させる。
• 実データ（半自動アノテーション済み）とピアノ・ギターからの合成音声を組み合わせて、エンドツーエンドでモデルを学習する。
• f0精度を最適化する損失関数を設計し、ボイス検出とピッチ追跡のそれぞれに別々の目的関数を設定する。
• データ拡張および合成データ生成を用いて、楽器のトーン色やポリフォニー度の多様性とカバー範囲を拡大する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習は、複数の音楽タスクにおいて、単一タスクモデルと比較してf0推定性能を向上させるか？
• RQ2 合成音声データを含めることで、マルチタスクモデルの性能にどのような影響があるか？
• RQ3 マルチタスク学習フレームワークにおけるタスク数の増加が、全体のf0推定精度に与える影響は何か？
• RQ4 なぜモデルはボイス検出において性能を発揮できないのか、特にボーカルおよびベースで顕著であり、その是正策は何か？
• RQ5 共有表現学習が、異なるf0推定タスク間での汎化性能をどの程度向上させるか？

主な発見

• マルチタスクモデルは、複数のデータセットおよびタスク（メロディ、ボーカル、ベースf0推定）において、すべての単一タスクベースラインを上回る性能を示した。
• タスク数を増やすことで性能が向上し、一部のタスクが完全に合成データで学習された場合でも、有効な知識の転送が確認された。
• ピアノおよびギターの合成データを含めることで、複数f0推定の性能が顕著に向上したが、他のタスクの性能は劣化しなかった。
• モデルはメロディおよび複数f0タスクで優れた性能を示したが、特にボーカルおよびベースのボイス検出においては、不十分なトーン色モデリングが原因で性能が劣化していた。
• ベースf0推定の性能が弱く、自動ピッチトラッカーによるオクターブ誤りやボイス検出誤りを含むノイズの多い正解アノテーションが原因であると推測された。
• マスクされたHCQT特徴に依存しているため、非調波成分のオノセット遷移を適切に捉えられておらず、これには追加のオノセットモデリングの導入が求められる。