[논문 리뷰] WaveNODE: A Continuous Normalizing Flow for Speech Synthesis

Hyeongju Kim, Hyeon Seung Lee외 4명|arXiv (Cornell University)|2020. 06. 08.

Speech Recognition and Synthesis참고 문헌 20인용 수 7

한 줄 요약

WaveNODE는 교사 네트워크나 보조 손실 항목이 필요 없으며, 더 적은 파라미터로 실시간 고음질 웨이브폼 생성을 가능하게 하는 연속 정규화 흐름(CNF) 기반 신경 음성합성기이다. 연속 시간 역학과 유연한 흐름 함수를 활용함으로써, 낮은 수의 흐름 단계로도 경쟁력 있는 성능을 달성하며, 기존의 유한 흐름 기반 모델에 비해 샘플 품질과 학습 효율성에서 뛰어나다. 다만 배치당 계산 비용은 높다.

ABSTRACT

In recent years, various flow-based generative models have been proposed to generate high-fidelity waveforms in real-time. However, these models require either a well-trained teacher network or a number of flow steps making them memory-inefficient. In this paper, we propose a novel generative model called WaveNODE which exploits a continuous normalizing flow for speech synthesis. Unlike the conventional models, WaveNODE places no constraint on the function used for flow operation, thus allowing the usage of more flexible and complex functions. Moreover, WaveNODE can be optimized to maximize the likelihood without requiring any teacher network or auxiliary loss terms. We experimentally show that WaveNODE achieves comparable performance with fewer parameters compared to the conventional flow-based vocoders.

연구 동기 및 목표

• 교사 네트워크나 보조 손실 항목에 의존하지 않는 메모리 효율적인 유연한 흐름 기반 음성합성 생성 모델을 개발하는 것.
• 기존의 이산 정규화 흐름의 한계—구조적 유연성 부족과 높은 파라미터 수—를 해결하기 위해 연속 정규화 흐름(CNF)을 적용하는 것.
• WaveNet과 같은 모델의 순차적 생성 병목 현상을 해결하기 위해 병렬화 가능한 추론을 통해 실시간 생성을 가능하게 하는 것.
• CNF 기반 모델이 더 적은 흐름 단계와 낮은 모델 복잡도로도 경쟁 가능한 음성합성 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• WaveNODE는 은닉 상태 역학을 신경 미분방정식으로 모델링하는 연속 정규화 흐름(CNF) 프레임워크를 사용한다: $ \frac{d\mathbf{z}(t)}{dt} = \mathbf{f}(\mathbf{z}(t), t) $, 이는 민감하고 연속적인 변환을 가능하게 한다.
• 즉각적인 변수 변환 공식을 통해 로그 밀도 변화를 계산하며, 자코비안 추적을 효율적으로 추정하기 위해 Hutchison의 추적 추정기를 사용한다.
• 안정적인 학습을 위해 actnorm 레이어를 사용하며, 이는 로그우도와 MOS 점수 측면에서 배치 정규화나 정규화 없음보다 우수한 성능을 보인다.
• 장기적인 시간 의존성을 모델링하기 위해 다중 척도 아키텍처를 사용하며, $ i $-번째 레이어에서 확장 인자(dilation factor)를 $ 3^i $로 설정하여 충분한 수신장(receptive field)을 확보한다.
• 지식 정착(knowledge distillation)이나 보조 손실 함수가 필요 없이 직접 최대우도 추정을 통해 학습을 최적화한다.
• 추론 과정은 병렬화 가능하여 잠재 노이즈 벡터에서 시간 방향으로 ODE를 정방향으로 풀어 실시간 생성을 구현한다.

실험 결과

연구 질문

• RQ1 교사 네트워크나 보조 손실 항목 없이도 연속 정규화 흐름이 고차원의 순차적 음성 웨이브폼에 효과적으로 적용될 수 있는가?
• RQ2 실제 NVP, IAF와 같은 이산 흐름과 비교했을 때 CNF의 유연성은 샘플 품질과 파라미터 효율성 측면에서 어떻게 다른가?
• RQ3 정규화 레이어(예: actnorm, MBN)는 CNF 기반 음성합성기에서 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 확장 전략의 선택이 CNF 기반 모델의 수신장과 음성 품질에 어떤 영향을 미치는가?
• RQ5 CNF 기반 모델은 고음질 웨이브폼 생성을 유지하면서도 실시간 추론을 달성할 수 있는가?

주요 결과

• WaveNODE는 조건부 로그우도(CLL) 4.497과 평균 평가 점수(MOS) 3.53 ± 0.18를 기록했으며, 파라미터 효율성과 학습 안정성 측면에서 WaveGlow(CLL: 4.501, MOS: 4.17 ± 0.15)를 능가한다.
• actnorm 정규화 레이어가 가장 우수한 성능을 보였으며(CLL: 4.497, MOS: 3.53 ± 0.18), MBN(CLL: 4.460, MOS: 3.36 ± 0.17)과 정규화 없음(CLL: 4.457, MOS: 3.22 ± 0.17)보다 뚜렷이 뛰어나다.
• WaveNODE는 7일 동안 27,000회 반복(46에포크)으로도 경쟁적인 성능를 달성했으며, WaveGlow는 354,000회 반복(240에포크)이 필요했으므로, 단위 학습 스텝당 샘플 효율성이 높다.
• i-번째 레이어에서 확장 인자를 $ 3^i $로 설정할 경우 최상의 음성 품질을 기록함(CLL: 4.497, MOS: 3.53 ± 0.18)하였고, $ 2^i $로 설정할 경우 떨림 소리가 발생하고 성능이 떨어짐(CLL: 4.408, MOS: 3.17 ± 0.17).
• 배치당 계산 시간이 높지만, CNF의 유연성 덕분에 학습 단계당 효율성이 높아지며, 더 적은 에포크 수로도 수렴 속도가 빠르게 나타나는 것으로 확인되었다.
• 함수 평가 횟수(NFE)는 학습 과정에서 증가함을 확인했으며, 이는 추론 속도의 주요 과제이자 향후 최적화의 대상임을 시사한다.