[論文レビュー] Cross-domain Neural Pitch and Periodicity Estimation

Max Morrison, Caedon Hsieh+2 more|arXiv (Cornell University)|Jan 28, 2023

Speech and Audio Processing被引用数 6

ひとこと要約

本論文では、音声と音楽の両データセットで最先端の精度を達成する、クロスドメインのニューラルピッチおよび周期性推定器FCNF0++を提案する。両データ分布を統合して学習することで、ドメイン特有のバイアスを回避し、最先端の性能を実現する。周期性推定にエントロピーに基づくデコード法を導入し、効率的な推論を実現することで、リアルタイムの11.2倍の高速化（CPU上）を達成し、従来のニューラルおよびDSPベースの手法を上回る精度と一般化性能を達成した。

ABSTRACT

Pitch is a foundational aspect of our perception of audio signals. Pitch contours are commonly used to analyze speech and music signals and as input features for many audio tasks, including music transcription, singing voice synthesis, and prosody editing. In this paper, we describe a set of techniques for improving the accuracy of widely-used neural pitch and periodicity estimators to achieve state-of-the-art performance on both speech and music. We also introduce a novel entropy-based method for extracting periodicity and per-frame voiced-unvoiced classifications from statistical inference-based pitch estimators (e.g., neural networks), and show how to train a neural pitch estimator to simultaneously handle both speech and music data (i.e., cross-domain estimation) without performance degradation. Our estimator implementations run 11.2x faster than real-time on a Intel i9-9820X 10-core 3.30 GHz CPU$\unicode{x2014}$approaching the speed of state-of-the-art DSP-based pitch estimators$\unicode{x2014}$or 408x faster than real-time on a NVIDIA GeForce RTX 3090 GPU. We release all of our code and models as Pitch-Estimating Neural Networks (penn), an open-source, pip-installable Python module for training, evaluating, and performing inference with pitch- and periodicity-estimating neural networks. The code for penn is available at https://github.com/interactiveaudiolab/penn.

研究の動機と目的

• 音声および音楽の両ドメインにおけるニューラルピッチおよび周期性推定の精度を向上させること。
• 分離されたデータ分布で学習された従来のニューラルピッチ推定器の、クロスドメイン一般化性能の低さを是正すること。
• 混合ドメイン環境下でも性能劣化を伴わずに、同時に高精度なピッチおよび周期性推定を実現する手法を開発すること。
• 標準CPU上で最先端のDSPベースのピッチトラッカーと同等の推論速度を達成すること。
• トレーニング、評価、デプロイが可能な完全に再現可能なオープンソースライブラリ（penn）をリリースすること。

提案手法

• 著者らは、細粒度のピッチ量子化と、新たなエントロピーに基づく周期性デコード法を備えたニューラルピッチ推定器FCNF0++を提案する。
• ピッチ後ろ向き確率マップからエントロピー最小化を用いて周期性推定を実施し、無声フレームでは一様確率、有声フレームでは鋭いピークを促進する。
• モデルは、誤った周期性予測に対して明示的にペナルティを課す修正された訓練目的関数を用い、アリオーディックノイズに対してより頑健になるようにしている。
• 推論は効率的なPyTorch実装により最適化され、Intel i9-9820X CPU上でリアルタイムの11.2倍、RTX 3090 GPU上で408倍の高速化を達成（ハードウェア特化最適化なし）。
• 著者らは、ピッチおよび周期性推定器のトレーニングと推論に使用可能な、pipでインストール可能な再現性のあるフレームワークであるPennライブラリをリリースした。

Figure 1: Pitch posteriorgrams of our reimplementation of baseline FCNF0 (top) and our proposed FCNF0++ (bottom) on the first few seconds of the clarinet solo that begins George Gershwin’s Rhapsody in Blue . We apply softmax to each time frame to produce normalized distributions and take the natural

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルピッチ推定器が、性能劣化を伴わずに音声および音楽の両データセットで最先端の性能を達成できるか？
• RQ2 ニューラルピッチ推定器の統計的推論出力から、周期性推定をどのように改善できるか？
• RQ3 トレーニングデータの分布カバレッジが、クロスドメインピッチ推定の一般化性能に与える影響は何か？
• RQ4 ニューラルピッチ推定器は、標準CPU上でDSPベースの手法と同等の推論速度を達成できるか？
• RQ5 統一的で高エントロピーなトレーニング分布は、未知のデータセットに対して普遍的なピッチ推定を可能にするか？

主な発見

• FCNF0++は音楽（MDB-stem-synth）で99.62%のロウピッチ精度（RPA）、音声（PTDB）で95.12%のRPAを達成し、新たな最先端の結果を樹立した。
• 特に音声と音楽の両データを統合して学習した場合に顕著に向上し、従来のニューラルおよびDSPベースの手法を精度と一般化性能の両面で上回った。
• エントロピーに基づく周期性デコード法は、有声フレームと無声フレームの区別において顕著に性能向上をもたらした。
• 標準Intel i9-9820X CPU上でリアルタイムの11.2倍、NVIDIA RTX 3090 GPU上で408倍の高速化を達成し、ハードウェア最適化なしでDSPベースの速度に近づいた。
• クロスドメイン一般化は、評価ドメインの全周波数範囲をカバーするトレーニングデータが存在する場合にのみ達成可能であり、分布カバレッジの重要性を裏付けた。
• オープンソースのPennライブラリにより、提案モデルおよびトレーニングパイプラインの完全な再現性とデプロイが可能になった。

Figure 2: Hyperparameter landscape of the voiced/unvoiced threshold on the entropy-based periodicity estimate produced by FCNF0++ with (blue) and without (orange) our proposed unvoiced training strategy (Section III-A ) on PTDB and MDB-stem-synth. Stars indicate optimal F1 values found via a fine-gr