[논문 리뷰] Neural Harmonic-plus-Noise Waveform Model with Trainable Maximum Voice Frequency for Text-to-Speech Synthesis

Xin Wang, Junichi Yamagishi|arXiv (Cornell University)|2019. 08. 27.

Speech Recognition and Synthesis참고 문헌 21인용 수 8

한 줄 요약

이 논문은 신경성 히어르모닉-노이즈 웨이브폼 모델(sinc-h-NSF)에서 학습 가능한 최대 음역 주파수(MVF)를 제안하여 음성의 조화성 및 비주기성 성분 간의 시간에 따라 변하는 스펙트럼 대역 분리를 가능하게 한다. 저역 및 고역 필터를 윈도우드-sinc 필터로 파arameter화하고 음성 특징에서 MVF를 예측함으로써, 기준 h-NSF 모델 대비 음성 품질을 향상시키면서도 실시간 생성 속도를 유지하며 WaveNet 수준의 MOS 점수를 달성한다.

ABSTRACT

Neural source-filter (NSF) models are deep neural networks that produce waveforms given input acoustic features. They use dilated-convolution-based neural filter modules to filter sine-based excitation for waveform generation, which is different from WaveNet and flow-based models. One of the NSF models, called harmonic-plus-noise NSF (h-NSF) model, uses separate pairs of source and neural filters to generate harmonic and noise waveform components. It is close to WaveNet in terms of speech quality while being superior in generation speed. The h-NSF model can be improved even further. While h-NSF merges the harmonic and noise components using pre-defined digital low- and high-pass filters, it is well known that the maximum voice frequency (MVF) that separates the periodic and aperiodic spectral bands are time-variant. Therefore, we propose a new h-NSF model with time-variant and trainable MVF. We parameterize the digital low- and high-pass filters as windowed-sinc filters and predict their cut-off frequency (i.e., MVF) from the input acoustic features. Our experiments demonstrated that the new model can predict a good trajectory of the MVF and produce high-quality speech for a text-to-speech synthesis system.

연구 동기 및 목표

• 조화성-노이즈 NSF 모델에서 고정된 MVF로 인해 주기성 및 비주기성 성분 간의 스펙트럼 분리가 일정하다는 한계를 해결하기 위해.
• 조화성 및 노이즈 성분을 분리하는 시간에 따라 변하는 최대 음역 주파수(MVF)를 모델링하여 음성 품질을 향상시키기 위해.
• 사전 정의된 필터 커프오프 기반에 의존하지 않고 입력 음성 특징에서부터 엔드 투 엔드로 학습 가능한 MVF 예측을 가능하게 하기 위해.
• NSF 모델의 높은 생성 속도를 유지하면서도 청각적 품질을 향상시키기 위해.

제안 방법

• 다양한 MVF 제어를 가능하게 하기 위해 저역 및 고역 FIR 필터를 윈도우드-sinc 필터로 파arameter화한다.
• 학습된 함수를 사용하여 U/V(음성 여부) 상태와 잔여 신호를 조합하여 입력 음성 특징에서 MVF 커프오프 주파수를 예측한다.
• 소스 및 필터 모듈에서 사용하기 위해 F0 및 멜스펙트로그램 특징을 웨이브폼 레이트로 업샘플링하기 위한 조건부 모듈을 사용한다.
• 생성된 웨이브폼과 자연스러운 웨이브폼 간의 스펙트럼 진폭 거리 최소화를 통해 모델을 학습시킨다.
• MVF 예측 전략을 평가하기 위해 세 가지 변형 모델을 도입한다: sinc1-h-NSF(U/V + 잔여 신호), sinc2-h-NSF(MVF를 처음부터 예측), sinc3-h-NSF(U/V만으로 MVF 예측).
• GPU 메모리 사용량을 줄이되 생성 속도에 영향을 주지 않도록 메모리 절약형 추론 모드를 적용한다.

실험 결과

연구 질문

• RQ1 신경성 웨이브폼 모델이 입력 음성 특징에서 시간에 따라 변하는 최대 음역 주파수(MVF)를 예측하여 음성 품질을 향상시킬 수 있는가?
• RQ2 조화성-노이즈 NSF 모델에서 학습 가능한 MVF는 고정된 MVF 대비 청각적 품질과 스펙트럼 정확도 측면에서 어떻게 비교되는가?
• RQ3 U/V 상태를 사전 지식으로 사용하는 것, 잔여 신호를 사용하는 것, 또는 직접 예측하는 것 중 어떤 MVF 예측 전략이 가장 안정적이고 정확한 MVF 트레이젝터리를 제공하는가?
• RQ4 제안된 모델은 음성 품질 향상과 함께 NSF 모델의 높은 생성 속도를 유지하는가?
• RQ5 모델은 자동회귀 생성 없이도 WaveNet 수준의 MOS 점수를 달성할 수 있는가?

주요 결과

• U/V 상태와 학습된 잔여 신호를 조합한 sinc1-h-NSF 변형 모델이 가장 안정적이고 정확한 MVF 예측을 보였으며, 자연스러운 스펙트로그램 패tern과 밀도 있게 일치했다.
• sinc1-h-NSF는 평균 MOS 점수 4.48을 기록했으며, 기준 h-NSF(4.47) 및 WaveNet(4.49)와 통계적으로 유의미하지 않게 유사했으며, 높은 청각적 품질을 입증했다.
• sinc2-h-NSF는 음성 영역에서 MVF를 과소 예측하여 비주기성 성분이 과도하게 강조되고 조화성 구조가 손상되어 MOS 점수가 낮아졌다.
• sinc3-h-NSF는 시그모이드 함수가 포화 상태에 도달하여 모든 프레임에서 MVF = 1.0을 출력했으며, 이로 인해 비주기성 정보가 손실되고 [s]와 같은 자연스럽지 않은 무음 음소가 생성되었다.
• 모든 NSF 기반 모델, 특히 sinc1-h-NSF는 단일 P100 GPU에서 1초당 335,000개 이상의 웨이브폼 샘플을 생성했으며, WaveNet의 0.19k 샘플/초 대비 크게 뛰어난 성능을 보였다.
• 모델은 기준 h-NSF와 유사한 120만 개의 파라미터를 유지하여 모델 복잡도에 유의미한 증가가 없음을 확인했다.