[论文解读] Cross-domain Neural Pitch and Periodicity Estimation

Max Morrison, Caedon Hsieh+2 more|arXiv (Cornell University)|Jan 28, 2023

Speech and Audio Processing被引用 6

一句话总结

该论文提出 FCNF0++，一种跨域神经基频与周期性估计算法，通过联合训练语音与音乐数据分布，在语音和音乐数据集上均实现了最先进（SOTA）的准确率。该方法引入了一种基于熵的周期性解码机制与高效推理，实现了实时性能（在 CPU 上达到实时速度的 11.2 倍），同时在准确率与泛化能力上超越了先前的神经网络与 DSP 基方法。

ABSTRACT

Pitch is a foundational aspect of our perception of audio signals. Pitch contours are commonly used to analyze speech and music signals and as input features for many audio tasks, including music transcription, singing voice synthesis, and prosody editing. In this paper, we describe a set of techniques for improving the accuracy of widely-used neural pitch and periodicity estimators to achieve state-of-the-art performance on both speech and music. We also introduce a novel entropy-based method for extracting periodicity and per-frame voiced-unvoiced classifications from statistical inference-based pitch estimators (e.g., neural networks), and show how to train a neural pitch estimator to simultaneously handle both speech and music data (i.e., cross-domain estimation) without performance degradation. Our estimator implementations run 11.2x faster than real-time on a Intel i9-9820X 10-core 3.30 GHz CPU$\unicode{x2014}$approaching the speed of state-of-the-art DSP-based pitch estimators$\unicode{x2014}$or 408x faster than real-time on a NVIDIA GeForce RTX 3090 GPU. We release all of our code and models as Pitch-Estimating Neural Networks (penn), an open-source, pip-installable Python module for training, evaluating, and performing inference with pitch- and periodicity-estimating neural networks. The code for penn is available at https://github.com/interactiveaudiolab/penn.

研究动机与目标

• 提升神经基频与周期性估计算法在语音与音乐领域中的准确率。
• 解决现有神经基频估计算法在孤立数据分布上训练时存在的跨域泛化能力差的问题。
• 开发一种方法，实现在混合领域设置下同时、高精度地估计基频与周期性，且性能不下降。
• 实现在标准 CPU 上的推理速度接近最先进 DSP 基方法的水平。
• 发布一个完全可复现的开源库（penn），用于训练、评估与部署基频估计算法的神经网络。

提出的方法

• 作者提出 FCNF0++，一种具有细粒度基频量化与新型基于熵的周期性解码方法的神经基频估计算法，以提升周期性估计性能。
• 他们在联合数据集上训练模型，涵盖语音（PTDB）与音乐（MDB-stem-synth），以确保完整的频率分布覆盖，并避免领域特定偏差。
• 周期性估计通过基频后验图使用熵最小化方法获得，促使未激励帧的概率分布均匀，而激励帧则产生尖锐峰值。
• 模型采用改进的训练目标，显式惩罚错误的周期性预测，提升对非周期性噪声的鲁棒性。
• 通过高效的 PyTorch 实现优化推理，在 Intel i9-9820X CPU 上实现 11.2 倍实时速度，在 NVIDIA RTX 3090 GPU 上实现 408 倍实时速度，且无需硬件特定优化。
• 作者发布了 Penn 库，一个可通过 pip 安装、可复现的框架，用于训练与推理基频与周期性估计算法的神经网络。

Figure 1: Pitch posteriorgrams of our reimplementation of baseline FCNF0 (top) and our proposed FCNF0++ (bottom) on the first few seconds of the clarinet solo that begins George Gershwin’s Rhapsody in Blue . We apply softmax to each time frame to produce normalized distributions and take the natural

实验结果

研究问题

• RQ1 单一神经基频估计算法是否能在不性能下降的前提下，同时在语音与音乐数据集上实现最先进性能？
• RQ2 如何利用神经基频估计算法的统计推理输出来改进周期性估计？
• RQ3 训练数据分布的覆盖范围对跨域基频估计泛化能力有何影响？
• RQ4 神经基频估计算法是否能在标准 CPU 上实现与 DSP 基方法相当的推理速度？
• RQ5 统一的、高熵的训练分布是否能实现在未见数据集上的通用基频估计？

主要发现

• FCNF0++ 在音乐数据集（MDB-stem-synth）上实现 99.62% 的原始基频准确率（RPA），在语音数据集（PTDB）上实现 95.12%，创下新 SOTA 记录。
• 该模型在准确率与泛化能力上均优于先前的神经网络与 DSP 基方法，尤其在联合训练语音与音乐数据时表现更优。
• 基于熵的周期性解码方法显著提升了周期性估计性能，尤其在区分激励与非激励帧方面。
• 该模型在标准 Intel i9-9820X CPU 上实现 11.2 倍实时推理速度，在 NVIDIA RTX 3090 GPU 上实现 408 倍实时速度，接近 DSP 基方法性能，且无需硬件优化。
• 仅当训练数据覆盖两个评估领域完整的频率范围时，才能实现跨域泛化，证实了分布覆盖的重要性。
• 开源的 Penn 库实现了模型与训练流程的完全可复现性与可部署性。

Figure 2: Hyperparameter landscape of the voiced/unvoiced threshold on the entropy-based periodicity estimate produced by FCNF0++ with (blue) and without (orange) our proposed unvoiced training strategy (Section III-A ) on PTDB and MDB-stem-synth. Stars indicate optimal F1 values found via a fine-gr