[논문 리뷰] Speech Synthesis and Control Using Differentiable DSP

Giorgio Fabbro, Vladimir Golkov외 2명|arXiv (Cornell University)|2020. 10. 28.

Music and Audio Processing참고 문헌 28인용 수 6

한 줄 요약

이 논문은 추론 중에 이러한 제어가 필요하지 않은 채로 음고, 리듬, 음량, 톤 등 음성의 변동 인자들에 대해 명시적이고 분리된 제어를 가능하게 하는, Differentiable Digital Signal Processing (DDSP) 기반의 신경음성기(네ural vocoder)를 제안한다. 학습 가능한 제어 변수를 기반으로 한 Differentiable DSP 프레임워크에 통합함으로써, 높은 품질의 자연스러운 음성 합성을 가능하게 하면서도 청각적 특성에 대한 세밀한 조작이 가능하며, 장시간 음성에 대해 기존 음성기들보다 속도와 모델 크기에서 뛰어난 성능을 보인다.

ABSTRACT

Modern text-to-speech systems are able to produce natural and high-quality speech, but speech contains factors of variation (e.g. pitch, rhythm, loudness, timbre)\ that text alone cannot contain. In this work we move towards a speech synthesis system that can produce diverse speech renditions of a text by allowing (but not requiring) explicit control over the various factors of variation. We propose a new neural vocoder that offers control of such factors of variation. This is achieved by employing differentiable digital signal processing (DDSP) (previously used only for music rather than speech), which exposes these factors of variation. The results show that the proposed approach can produce natural speech with realistic timbre, and individual factors of variation can be freely controlled.

연구 동기 및 목표

• 음고, 리듬, 음량, 톤 등의 변동 인자들에 대해 명시적 제어를 제공하면서도, 이를 추론 과정에서 반드시 요구하지 않는 음성 합성 시스템을 개발하는 것.
• 이전에는 음악 분야에서만 사용된 Differentiable DSP (DDSP)를 음성 합성에 확장하여 해석 가능하고 제어 가능한 오디오 생성을 가능하게 하는 것.
• 신경음성기 내부에서 직접 제어를 가능하게 하여, 기존 오디오 클립의 수정이 가능하고, 아키텍처 재설계 없이도 어떤 스펙트로그램 생성기와도 호환되도록 하는 것.
• 에지 장치에 적합한 품질을 유지하면서도 고속의 합성 속도와 작은 모델 크기를 달성하는 것.
• 향후 음성 변동 및 스타일 편집에 응용 가능한, 음성기 단계에서 음성 인자들을 분리하는 것의 가능성을 탐색하는 것.

제안 방법

• 모델은 순환 신경망을 사용하여 멜 스펙트로그램을 해석 가능한 제어 변수들—진폭 응답, 조화분포, 필터 계수—로 분해한다.
• 이 제어 변수들은 음성의 모음음에 적합한 오실레이터와 자음에 적합한 노이즈 생성기로 구성된 Differentiable DSP 생성기들을 구동하여, 제어 가능한 파rameter를 가진 직접적인 오디오 합성을 가능하게 한다.
• 학습 중에는 추론 과정에서 학습된 결과를 사용하는 대신 진짜 음고 경로를 사용하여 네트워크가 다른 변동 인자들을 모델링하는 능력을 격리한다.
• 고정된 Differentiable DSP 연산을 신경망 내부에 통합함으로써, 엔드 투 엔드 최적화를 가능하게 하면서도 제어 변수의 해석 가능성은 유지한다.
• 텍스트에서 음성으로의 파ip라인과 함께, 생성 후 제어 변수를 수정하여 기존 오디오 클립을 직접 조작할 수 있도록 지원한다.
• 모델은 Differentiable 손실 함수를 사용해 엔드 투 엔드로 학습되며, 추론은 제어 변수를 DSP 생성기에 입력하여 웨이브폼을 생성하는 방식으로 수행된다.

실험 결과

연구 질문

• RQ1 Differentiable DSP가 음고, 리듬, 음량, 톤 등의 변동 인자들에 대해 분리된 제어를 가능하게 하여 음성 합성에 효과적으로 적용될 수 있는가?
• RQ2 DDSP 기반의 신경음성기는 고도로 해석 가능한 품질을 유지하면서도 고속의 추론 속도와 작은 모델 크기를 달성하는가?
• RQ3 제어 기능을 TTS 파이프라인의 초기 단계가 아닌 음성기 수준에 적용할 수 있는가? 이는 더 넓은 호환성과 후행 조작을 가능하게 하는가?
• RQ4 WaveGlow와 WaveNet과 같은 최신 신경음성기들과 비교했을 때, 속도, 크기, 오디오 품질 측면에서 모델의 성능은 어떠한가?
• RQ5 모델의 제어 변수들이 같은 발화의 자연스러운 변형을 생성하는 데 얼마나 효과적으로 사용될 수 있는가?

주요 결과

• 제안된 DDSP 기반 신경음성기는 2초 이상의 오디오 클립에 대해 거의 40배 실시간 속도로 합성을 구현하여, 장시간 시퀀스에서 WaveGlow를 능가하는 속도를 보였다.
• 단일 GPU에서 2.5일 만에 수렴하여 WaveNet(4–5일)과 WaveGlow(10일 이상)에 비해 훨씬 빠른 학습 속도를 보였으며, 효율적인 학습을 입증했다.
• 모델의 파라미터 수는 490만 개로, WaveGlow(8780만 개)보다 훨씬 작고, WaveNet과 유사한 크기로 엣지 장치에 적합한 크기였다.
• 모델은 중앙값 MUSHRA 점수 40/100을 기록하여 중간 수준의 청각적 품질을 보였으며, 주요 제한점은 좋은 톤 모델링에도 불구하고 비자음의 청취자에게 부자연스러운 소리였다.
• Griffin–Liman 알고리즘이 유사한 MUSHRA 점수를 기록했지만, 그 이유는 다를 바가 있었다—제안된 모델에서는 인위적인 자음이, Griffin–Liman에서는 위상 추정 오차가 원인이었으며, 이는 일차원적 품질 지표의 한계를 드러냈다.
• 모델은 음성기 수준에서 음고 및 기타 변동 인자들에 대한 직접적 제어를 가능하게 하여, 재학습이나 스펙트로그램 생성기의 수정 없이도 후행 편집이 가능하다.