[논문 리뷰] Neural source-filter waveform models for statistical parametric speech synthesis

Xin Wang, Shinji Takaki외 1명|arXiv (Cornell University)|2019. 04. 27.

Speech Recognition and Synthesis참고 문헌 53인용 수 8

한 줄 요약

이 논문은 파라미터 기반 음성 합성에서 고품질 음성 웨이브폼을 WaveNet보다 최대 100배 빠르게 생성하는 신경 소스-필터(NSF) 프레임워크를 제안한다. 이는 사인 기반의 음성 소스, 확장된 컨볼루션 필터, 조건부 특징 처리를 사용하며, STFT를 통한 스펙트럼 진폭 차이를 최소화하여 직접 학습함으로써 WaveNet 수준의 품질을 달성하고, 비자기적, 한 번에 생성하는 추론 방식을 구현한다.

ABSTRACT

Neural waveform models such as WaveNet have demonstrated better performance than conventional vocoders for statistical parametric speech synthesis. As an autoregressive (AR) model, WaveNet is limited by a slow sequential waveform generation process. Some new models that use the inverse-autoregressive flow (IAF) can generate a whole waveform in a one-shot manner. However, these IAF-based models require sequential transformation during training, which severely slows down the training speed. Other models such as Parallel WaveNet and ClariNet bring together the benefits of AR and IAF-based models and train an IAF model by transferring the knowledge from a pre-trained AR teacher to an IAF student without any sequential transformation. However, both models require additional training criteria, and their implementation is prohibitively complicated. We propose a framework for neural source-filter (NSF) waveform modeling without AR nor IAF-based approaches. This framework requires only three components for waveform generation: a source module that generates a sine-based signal as excitation, a non-AR dilated-convolution-based filter module that transforms the excitation into a waveform, and a conditional module that pre-processes the acoustic features for the source and filer modules. This framework minimizes spectral-amplitude distances for model training, which can be efficiently implemented by using short-time Fourier transform routines. Under this framework, we designed three NSF models and compared them with WaveNet. It was demonstrated that the NSF models generated waveforms at least 100 times faster than WaveNet, and the quality of the synthetic speech from the best NSF model was better than or equally good as that from WaveNet.

연구 동기 및 목표

• 통계적 파arameter 기반 음성 합성에서 WaveNet과 같은 자기적 신경 보이스코더의 느린 추론 속도 문제를 해결하기 위해.
• Parallel WaveNet 및 ClariNet와 같은 플로우 기반 또는 지식 정복 방법의 복잡성과 높은 학습 오버헤드를 극복하기 위해.
• TTS를 위한 자기적 및 IAF 기반 웨이브폼 모델의 단순하고 효율적이며 고품질의 대안을 개발하기 위해.
• 청각 품질을 희생시키지 않고도 빠르고 한 번에 생성 가능한 웨이브폼 생성을 가능하게 하기 위해.
• 사인 음성 소스가 음성 웨이브폼에서 주기성과 F0 구조 학습을 단순화하는 데 미치는 영향을 탐색하기 위해.

제안 방법

• NSF 프레임워크는 세 가지 구성 요소로 이루어져 있다: 사인 기반의 음성 소스 신호를 생성하는 소스 모듈, 음성 소스를 웨이브폼으로 변환하는 비자기적 확장 컨볼루션 필터 모듈, 두 모듈에 입력되는 음성 특징을 처리하는 조건부 모듈.
• 모델은 짧은 시간 푸리에 변환(STFT) 루틴을 사용하여 생성된 웨이브폼과 목표 웨이브폼 간의 스펙트럼 진폭 거리 차이를 최소화함으로써 학습된다.
• 세 가지 NSF 변종이 도입된다: 기본 NSF(b-NSF), 단순화된 NSF(s-NSF), 그리고 조화파와 잡음 성분을 별도의 소스-필터 쌍으로 모델링하는 조화-잡음 NSF(hn-NSF).
• 학습 목표는 STFT를 통해 효율적으로 구현되어 순차적 생성이나 복잡한 플로우 기반 학습 없이도 빠른 최적화를 가능하게 한다.
• 필터 모듈은 스킵 연결을 갖춘 잔차 신경망으로 설계되어 음성 소스를 자연스러운 음성 웨이브폼으로 점진적으로 변환할 수 있도록 한다.
• F0 입력은 직접 소스 모듈에 사용되어 생성된 출력에서 명시적인 피치 제어가 가능해진다.

실험 결과

연구 질문

• RQ1 비자기적 신경 소스-필터 프레임워크가 한 번에 생성 가능한 빠른 웨이브폼 생성을 가능하게 하면서도 WaveNet 수준의 음성 품질을 달성할 수 있는가?
• RQ2 사인 기반의 음성 소스 신호를 사용할 경우 신경 보이스코더에서 주기성과 F0 구조 학습을 어떻게 단순화할 수 있는가?
• RQ3 아키텍처 단순화와 조화파 및 잡음 성분의 별도 모델링이 웨이브폼 품질과 학습 효율성에 어떤 영향을 미치는가?
• RQ4 STFT 기반 스펙트럼 진폭 손실이 청각 품질과 학습 안정성 측면에서 다른 학습 목표와 비교해 어떻게 성능을 내는가?
• RQ5 NSF 프레임워크가 자기적 및 IAF 기반 접근 방식에 비해 학습 시간과 모델 복잡성을 얼마나 줄일 수 있는가?

주요 결과

• hn-NSF 모델은 단일 화자 일본어 코퍼스에서 대규모 听음 테스트에서 WaveNet 수준의 음성 품질을 달성했다.
• 최고의 NSF 모델은 WaveNet 보이스코더보다 최소 100배 빠른 속도로 웨이브폼을 생성하여 실시간 추론을 가능하게 했다.
• 입력 F0와 생성된 웨이브폼에서 추출한 F0 간 상관계수가 높았으며(hn-NSF에서 F0r3 기준 0.988), 정확한 피치 추적 능력을 보였다.
• hn-NSF 모델의 필터 모듈은 스펙트럼도에서 계층 간 진화를 통해 형성구조를 갖춘 웨이브폼으로 사인 음성 소스를 성공적으로 변환했다.
• 제거 실험 결과, 필터 모듈의 스킵 연결이 성능 향상에 필수적이며, 사인 음성 소스를 제거할 경우 성능이 심각하게 악화됨을 확인했다.
• STFT 기반 스펙트럼 진폭 손실은 다양한 STFT 설정을 사용하더라도 효율적인 학습과 안정적인 수렴을 가능하게 했다.