[논문 리뷰] Cross-domain Neural Pitch and Periodicity Estimation

Max Morrison, Caedon Hsieh외 2명|arXiv (Cornell University)|2023. 01. 28.

Speech and Audio Processing인용 수 6

한 줄 요약

이 논문은 복합 데이터 분포에서 훈련함으로써 음성 및 음악 데이터셋에서 모두 최신 기술 수준의 정확도를 달성하는 교차 도메인 신경망 주파수 및 주기성 추정기인 FCNF0++을 제안한다. 주기성 추정을 위한 엔트로피 기반 복원 방법과 효율적인 추론을 도입하여 실시간 성능(Intel i9-9820X CPU에서 실시간의 11.2배 빠름)을 달성하면서도 기존의 신경망 및 DSP 기반 방법보다 정확도와 일반화 능력에서 뛰어나다.

ABSTRACT

Pitch is a foundational aspect of our perception of audio signals. Pitch contours are commonly used to analyze speech and music signals and as input features for many audio tasks, including music transcription, singing voice synthesis, and prosody editing. In this paper, we describe a set of techniques for improving the accuracy of widely-used neural pitch and periodicity estimators to achieve state-of-the-art performance on both speech and music. We also introduce a novel entropy-based method for extracting periodicity and per-frame voiced-unvoiced classifications from statistical inference-based pitch estimators (e.g., neural networks), and show how to train a neural pitch estimator to simultaneously handle both speech and music data (i.e., cross-domain estimation) without performance degradation. Our estimator implementations run 11.2x faster than real-time on a Intel i9-9820X 10-core 3.30 GHz CPU$\unicode{x2014}$approaching the speed of state-of-the-art DSP-based pitch estimators$\unicode{x2014}$or 408x faster than real-time on a NVIDIA GeForce RTX 3090 GPU. We release all of our code and models as Pitch-Estimating Neural Networks (penn), an open-source, pip-installable Python module for training, evaluating, and performing inference with pitch- and periodicity-estimating neural networks. The code for penn is available at https://github.com/interactiveaudiolab/penn.

연구 동기 및 목표

• 음성 및 음악 도메인 전반에서 신경망 주파수 및 주기성 추정 정확도를 향상시키기 위해.
• 고립된 데이터 분포에서 훈련된 기존의 신경망 주파수 추정기들이 낮은 교차 도메인 일반화 성능을 보이는 문제를 해결하기 위해.
• 혼합 도메인 환경에서도 성능 저하 없이 동시에 고정확도의 주파수 및 주기성 추정을 가능하게 하는 방법을 개발하기 위해.
• 표준 CPU에서 최신 기술 수준의 DSP 기반 주파수 추정기와 경쟁 가능한 추론 속도를 달성하기 위해.
• 학습, 평가, 배포가 가능한 완전히 재현 가능한 오픈소스 라이브러리(penn)를 제공하기 위해.

제안 방법

• 저자들은 주파수 양자화의 세밀한 처리와 주기성 추정을 위한 새로운 엔트로피 기반 복원 방법을 도입한 신경망 주파수 추정기인 FCNF0++를 제안한다.
• 모델은 음성(PTDB)과 음악(MDB-stem-synth)을 모두 포함하는 복합 데이터셋에서 훈련하여 전체 주파수 분포 커버리지 확보와 도메인 특화 편향 방지를 위해 노력한다.
• 주기성 추정은 주파수 후보 확률 맵에서 엔트로피 최소화를 통해 유도되며, 비음성 프레임에서는 균일한 확률 분포, 음성 프레임에서는 날카운 피크를 유도한다.
• 모델은 잘못된 주기성 예측에 대해 명시적인 페널티를 적용하는 수정된 훈련 목표 함수를 사용하여 비정규 주기성 노이즈에 대한 강건성을 향상시킨다.
• 추론은 효율적인 PyTorch 구현을 통해 최적화되어, Intel i9-9820X CPU에서 실시간의 11.2배 빠르고, NVIDIA RTX 3090 GPU에서는 하드웨어 최적화 없이도 408배 빠른 성능을 달성한다.
• 저자들은 주파수 및 주기성 추정기 학습 및 추론를 위한 완전히 재현 가능한 프레임워크인 Penn 라이브러리를 공개한다.

Figure 1: Pitch posteriorgrams of our reimplementation of baseline FCNF0 (top) and our proposed FCNF0++ (bottom) on the first few seconds of the clarinet solo that begins George Gershwin’s Rhapsody in Blue . We apply softmax to each time frame to produce normalized distributions and take the natural

실험 결과

연구 질문

• RQ1 단일 신경망 주파수 추정기가 성능 저하 없이 음성 및 음악 데이터셋 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 신경망 주파수 추정기의 통계적 추론 출력을 활용해 주기성 추정을 어떻게 향상시킬 수 있는가?
• RQ3 훈련 데이터 분포 커버리지가 교차 도메인 주파수 추정 일반화에 어떤 영향을 미치는가?
• RQ4 신경망 주파수 추정기가 표준 CPU에서 DSP 기반 방법과 경쟁 가능한 추론 속도를 달성할 수 있는가?
• RQ5 통합된 고엔트로피 훈련 분포가 미리 보지 않은 데이터셋 전반에 걸쳐 통합 주파수 추정을 가능하게 할 수 있는가?

주요 결과

• FCNF0++는 음악(MDB-stem-synth)에서 99.62%의 원시 주파수 정확도(RPA), 음성(PTDB)에서 95.12%의 RPA를 기록하여 새로운 최신 기술 수준 성능을 달성했다.
• 모델은 특히 음성과 음악 데이터를 복합적으로 훈련한 경우, 기존의 신경망 및 DSP 기반 방법보다 정확도와 일반화 능력에서 뛰어나다.
• 엔트로피 기반 주기성 복원 방법은 음성 프레임과 비음성 프레임을 구분하는 데 특히 유의미하게 향상된 주기성 추정 성능을 제공한다.
• 표준 Intel i9-9820X CPU에서 실시간의 11.2배 빠르게 작동하고, NVIDIA RTX 3090 GPU에서는 하드웨어 최적화 없이도 408배 빠른 속도를 기록하여 하드웨어 최적화 없이도 DSP 기반 속도에 근접한다.
• 교차 도메인 일반화 성능은 평가 도메인의 전체 주파수 범위를 커버하는 훈련 데이터에서만 달성되며, 이는 분포 커버리지의 중요성을 확인한다.
• 오픈소스 Penn 라이브러리는 제안된 모델과 훈련 파이프라인의 완전한 재현성과 배포를 가능하게 한다.

Figure 2: Hyperparameter landscape of the voiced/unvoiced threshold on the entropy-based periodicity estimate produced by FCNF0++ with (blue) and without (orange) our proposed unvoiced training strategy (Section III-A ) on PTDB and MDB-stem-synth. Stars indicate optimal F1 values found via a fine-gr