[논문 리뷰] LVCNet: Efficient Condition-Dependent Modeling Network for Waveform Generation

Zhen Zeng, Jianzong Wang외 2명|arXiv (Cornell University)|2021. 02. 22.

Music and Audio Processing참고 문헌 25인용 수 4

한 줄 요약

이 논문은 위치별로 변하는 컨볼루션을 사용하는 LVCNet이라는 새로운 조건부 컨볼루션 네트워크를 제안한다. 이 네트워크는 멜스펙트로그램과 같은 조건 특징에 기반해 커널 계수를 적응적으로 조정함으로써 장기적인 웨이브포맷 의존성을 효율적으로 모델링한다. Parallel WaveGAN의 고정 커널을 조건부 예측 및 간격별로 특화된 커널로 대체함으로써, 원본 모델에 비해 품질 저하 없이 추론 속도가 4배 빨라졌으며, 웨이브포맷 생성에서 뚜렷한 효율성 향상을 보여주었다.

ABSTRACT

In this paper, we propose a novel conditional convolution network, named location-variable convolution, to model the dependencies of the waveform sequence. Different from the use of unified convolution kernels in WaveNet to capture the dependencies of arbitrary waveform, the location-variable convolution uses convolution kernels with different coefficients to perform convolution operations on different waveform intervals, where the coefficients of kernels is predicted according to conditioning acoustic features, such as Mel-spectrograms. Based on location-variable convolutions, we design LVCNet for waveform generation, and apply it in Parallel WaveGAN to design more efficient vocoder. Experiments on the LJSpeech dataset show that our proposed model achieves a four-fold increase in synthesis speed compared to the original Parallel WaveGAN without any degradation in sound quality, which verifies the effectiveness of location-variable convolutions.

연구 동기 및 목표

• 실시간 음성 합성에서 자동회귀형 및 표준 비자동회귀형 보코더의 비효율성을 해결하기 위해.
• 계산 비용을 줄이며 원시 웨이브포맷 생성에서 장기적인 시간적 의존성을 향상시키기 위해.
• 고품질 음성 품질을 유지하면서 추론 속도를 높이는 더 효율적인 보코더 아키텍처를 설계하기 위해.
• 음성 맥락에 따라 각 웨이브포맷 간격에서 다를 수 있는 조건부로 적응하는 컨볼루션 커널을 탐색하기 위해.

제안 방법

• 입력 간격마다 멜스펙트로그램에 조건된 커널 예측기로 동적으로 예측되는 커널 계수를 사용하는 위치별로 변하는 컨볼루션(LVC)을 도입한다.
• 표준 확장된 인과 컨볼루션을 조건부로 적응하는 커널로 교체하기 위해 LVC 모듈을 Parallel WaveGAN 프레임워크 내에 적용한다.
• 로컬 조건 특징에 기반해 서로 다른 시간 간격에 대해 고유한 커널 가중치를 생성하는 별도의 커널 예측기 네트워크를 사용한다.
• WaveNet과 유사한 게이트드 잔여 블록 구조를 채택하지만, 표준 컨볼루션 대신 LVC를 사용하여 맥락 인식 특징 학습을 가능하게 한다.
• 음성 품질 유지를 위해 적대적 손실과 다중 스케일 디스크림ิน레이터를 조합하여 모델을 훈련시킨다.
• 적응형 커널 적응을 통해 잔여 채널 수를 줄이되 성능 유지가 가능하도록 추론을 최적화한다.

Fig. 1 : An example of convolution process in the location-variable convolution. According to the conditioning sequence, the kernel predictor generates multiple sets of convolution kernels, which are used to perform convolution operations on the associated intervals in the input sequence. Each eleme

실험 결과

연구 질문

• RQ1 조건부로 적응하는 컨볼루션 커널이 음성 품질을 희생시키지 않고 웨이브포맷 생성의 효율성을 향상시킬 수 있는가?
• RQ2 장기적인 원시 웨이브포맷의 의존성을 모델링할 때 위치별로 변하는 컨볼루션 메커니즘은 고정 커널 컨볼루션보다 어떻게 비교되는가?
• RQ3 비자동회귀형 보코더에서 잔여 채널 수를 줄일 경우, 적응형 커널 예측으로 얼마나 보완할 수 있는가?
• RQ4 제안된 LVCNet은 Parallel WaveGAN과 같은 기존의 비자동회귀형 보코더보다 더 빠른 추론 속도를 달성하는가?

주요 결과

• CPU에서 원본 Parallel WaveGAN 대비 LVCNet은 합성 속도가 4배 빨라졌으며, RTF는 3.58에서 0.73으로 감소하였다.
• 모델은 거의 동일한 청각적 품질을 유지하여, MOS 점수는 4.15±0.10을 기록했으며, 원본 Parallel WaveGAN(128개의 잔여 채널)과 동일한 성능을 보였다.
• 단지 4개의 잔여 채널만을 사용해도 LVCNet은 MOS 3.96±0.15를 기록하여 용량 감소에 대해 뛰어난 내구성을 보였다.
• NVIDIA V100 GPU에서 LVCNet은 약 300 MHz로 음성 생성이 가능하여 Parallel WaveGAN의 35 MHz보다 훨씬 빠른 속도를 기록하였다.
• TTS 시스템에서 LVCNet은 Transformer TTS와 함께 사용했을 때 Parallel WaveGAN 대비 합성 시간을 15% 감소시켰으며, MOS 점수는 유사하게 유지되었다.
• 커널 예측기 덕분에 더 적은 파라미터로도 장거리 의존성을 효과적으로 모델링할 수 있었으며, 조건부 커널 적응의 효율성을 입증하였다.

(a) Architecture of LVCNet