[논문 리뷰] FeatherWave: An efficient high-fidelity neural vocoder with multi-band linear prediction

Qiao Tian, Zewang Zhang외 3명|arXiv (Cornell University)|2020. 05. 12.

Speech Recognition and Synthesis참고 문헌 21인용 수 9

한 줄 요약

FeatherWave는 LPCNet 프레임워크에 다중대역 선형 예측(MB-LP)을 통합하여 고음질, 고효율 신경 음성합성기(네ural vocoder)를 제안한다. 이는 음성 샘플을 병렬로 생성하고 계산 복잡도를 감소시켜, 이중 CPU 코어에서 24 kHz에서 10배 실시간 합성 속도를 달성하며, MOS가 4.55에 이르러 LPCNet을 넘어선다.

ABSTRACT

In this paper, we propose the FeatherWave, yet another variant of WaveRNN vocoder combining the multi-band signal processing and the linear predictive coding. The LPCNet, a recently proposed neural vocoder which utilized the linear predictive characteristic of speech signal in the WaveRNN architecture, can generate high quality speech with a speed faster than real-time on a single CPU core. However, LPCNet is still not efficient enough for online speech generation tasks. To address this issue, we adopt the multi-band linear predictive coding for WaveRNN vocoder. The multi-band method enables the model to generate several speech samples in parallel at one step. Therefore, it can significantly improve the efficiency of speech synthesis. The proposed model with 4 sub-bands needs less than 1.6 GFLOPS for speech generation. In our experiments, it can generate 24 kHz high-fidelity audio 9x faster than real-time on a single CPU, which is much faster than the LPCNet vocoder. Furthermore, our subjective listening test shows that the FeatherWave can generate speech with better quality than LPCNet.

연구 동기 및 목표

• 실시간 및 엣지 디바이스 배포에 적합한 더 빠르고 효율적인 신경 음성합성기를 개발하기 위해.
• 24 kHz 고음질 음성에 적합한 기존 경량 RNN 기반 음성합성기(LPCNet, Multi-band WaveRNN)의 계산 비효율성을 해결하기 위해.
• LPCNet 아키텍처에 다중대역 처리와 선형 예측을 융합하여 음성 품질과 생성 속도를 향상시키기 위해.
• 최적화된 추론 커널과 모델 정규화를 활용해 자원 제약이 있는 디바이스에서 고음질, 저지연 추론을 가능하게 하기 위해.

제안 방법

• LPCNet 프레임워크에 다중대역 신호 처리를 통합하여 RNN 단계당 다중 음성 샘플을 병렬로 생성할 수 있도록 한다.
• 하나의 RNN 단계에서 다중대역 선형 예측(MB-LP)을 적용해 하위대역 신호를 동시에 모델링함으로써 시퀀스 길이와 계산 부담을 감소시킨다.
• LPCNet와 유사하게 8비트 μ-law 양자화와 전처리 필터링, 단일 소프트맥스 출력 레이어를 사용하여 이산화된 음성의 효율적 모델링을 수행한다.
• 모델 효율성 향상과 양자화 노이즈 감소를 위해 이중 단계 희박화 방법(TSSP)을 적용하여 음성 품질을 향상시킨다.
• 다중 스레딩을 활용해 이중 CPU 코어에서 가속화된 스트리밍 추론 커널을 설계한다.
• 멜스펙트로그램을 사용해 LP 필터를 추출함으로써 별도의 피치 추출이 필요 없도록 하여 모델의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중대역 처리는 LPCNet과 같은 경량 RNN 기반 신경 음성합성기의 추론 속도를 크게 향상시킬 수 있는가? 이는 음성 품질을 희생시키지 않고 가능할까?
• RQ2 LPCNet 아키텍처에 다중대역 선형 예측을 융합할 경우 계산 복잡도와 생성 효율성은 어떻게 영향을 받는가?
• RQ3 제안된 이중 단계 희박화 방법(TSSP)은 기존의 희박화 방법에 비해 음성 품질과 모델 효율성에 얼마나 기여하는가?
• RQ4 FeatherWave는 이중 코어 CPU에서 10배 실시간 속도로 24 kHz 고음질 음성 합성을 달성하면서도 높은 청취 품질을 유지할 수 있는가?
• RQ5 24 kHz에서 최첨단 모델인 MoL WaveNet과 비교했을 때, 주관적 평가에서 FeatherWave의 음성 품질은 어떻게 평가되는가?

주요 결과

• FeatherWave는 24 kHz 음성 합성에 대해 1.6 GFLOPS의 계산 복잡도를 기록하여, LPCNet의 2.8 GFLOPS보다 크게 감소시켰다.
• 최적화된 다중 스레딩 추론 커널을 활용해 이중 CPU 코어에서 24 kHz 고음질 음성 합성을 10배 실시간 속도로 생성한다.
• 주관적 청취 테스트 결과, FeatherWave는 24 kHz에서 MOS가 4.55를 기록하여 MoL WaveNet(4.58)에 비해 약간 낮지만 LPCNet(4.48)보다 뛰어나다.
• 이중 단계 희박화 방법(TSSP)을 적용함으로써 90% 희박성에서 NLL가 4.14에서 4.07로 감소하여, 모델 품질 향상과 열악한 희박화 선택의 위험 감소를 확인했다.
• 단일 소프트맥스 레이어를 사용하고 10비트 μ-law 양자화를 적용함으로써 LPCNet보다 더 적은 양자화 노이즈와 품질 손실을 기록했다.
• Parallel WaveNet에 비해 추론 속도에서 뛰어난 성능을 보였으며, 동일 하드웨어에서 유사한 속도를 확보하기 위해 필요한 CPU 코어 수가 8개에서 2개로 감소했다.