[논문 리뷰] FastS2S-VC: Streaming Non-Autoregressive Sequence-to-Sequence Voice Conversion

Hirokazu Kameoka, Kou Tanaka외 1명|arXiv (Cornell University)|2021. 04. 14.

Speech Recognition and Synthesis참고 문헌 58인용 수 8

한 줄 요약

이 논문은 교사-학생 distillation 프레임워크를 통해 타겟 음성 입력이 필요 없이 병렬적으로 attention 맵을 생성하는 컨볼루션형 어텐션 예측기(attention predictor)를 사용함으로써 추론 속도를 70–100배 빠르게 하는 비자기적(sequence-to-sequence) 음성 변환 모델인 FastS2S-VC를 제안한다. 이 방법은 GPU에서 32ms의 지연 시간으로 실시간 추론을 구현하면서도 높은 음성 품질과 타겟 음성에 대한 유사도를 유지한다.

ABSTRACT

This paper proposes a non-autoregressive extension of our previously proposed sequence-to-sequence (S2S) model-based voice conversion (VC) methods. S2S model-based VC methods have attracted particular attention in recent years for their flexibility in converting not only the voice identity but also the pitch contour and local duration of input speech, thanks to the ability of the encoder-decoder architecture with the attention mechanism. However, one of the obstacles to making these methods work in real-time is the autoregressive (AR) structure. To overcome this obstacle, we develop a method to obtain a model that is free from an AR structure and behaves similarly to the original S2S models, based on a teacher-student learning framework. In our method, called "FastS2S-VC", the student model consists of encoder, decoder, and attention predictor. The attention predictor learns to predict attention distributions solely from source speech along with a target class index with the guidance of those predicted by the teacher model from both source and target speech. Thanks to this structure, the model is freed from an AR structure and allows for parallelization. Furthermore, we show that FastS2S-VC is suitable for real-time implementation based on a sliding-window approach, and describe how to make it run in real-time. Through speaker-identity and emotional-expression conversion experiments, we confirmed that FastS2S-VC was able to speed up the conversion process by 70 to 100 times compared to the original AR-type S2S-VC methods, without significantly degrading the audio quality and similarity to target speech. We also confirmed that the real-time version of FastS2S-VC can be run with a latency of 32 ms when run on a GPU.

연구 동기 및 목표

• 실시간 응용 프로그램에서 자가회귀적(sequence-to-sequence) 음성 변환(S2S-VC) 모델의 높은 지연 시간 문제를 해결하기 위해.
• 성능을 유지하면서도 병렬 추론이 가능한 자가회귀적 아님(non-autoregressive, NAR) S2S-VC의 변종을 개발하기 위해.
• 낮은 지연 시간을 갖는 슬라이딩 윈도우 추론 전략을 통해 실시간 배포를 가능하게 하기 위해.
• 자기회귀적 구조를 제거함에도 불구하고 높은 음성 품질과 화자/감정 표현 유사도를 유지하기 위해.

제안 방법

• 모델은 교사-학생 distillation 프레임워크를 사용하며, 학생 모델이 교사 S2S-VC 모델의 어텐션 분포를 모방하도록 학습한다.
• 어텐션 예측기는 전체 컨볼루션 네트워크이며, 소스 멜스펙트로그램과 타겟 클래스 인덱스만을 기반으로 제약 조건이 붙은 가우시안 함수를 사용해 병렬적으로 어텐션 가중치 행렬을 생성한다.
• 학습 중에 타겟 멜스펙트로그램 입력을 제거함으로써 학생 모델은 자기회귀적 의존성을 제거하고 병렬 생성이 가능해진다.
• 아키텍처에는 엔코더, 어텐션 예측기, 프리디코더, 포스트디코더, 포스트넷 등이 포함되어 있으며, 이는 종단간 특징 매핑 및 웨이브폼 생성을 위한 엔드 투 엔드 처리를 가능하게 한다.
• 실시간 동작은 최소 지연 시간을 갖는 입력 음성을 청크 단위로 처리하는 슬라이딩 윈도우 추론 방식을 통해 가능해진다.
• 웨이브폼 생성은 모든 방법에 대해 공정한 평가를 위해 일관되게 Parallel WaveGAN을 사용한다.

실험 결과

연구 질문

• RQ1 자기회귀적 S2S-VC와 유사한 음성 변환 품질을 달성하면서도 병렬 추론이 가능한 비자기적 S2S-VC 모델이 가능한가?
• RQ2 자기회귀적 교사 모델에서의 지식 distillation이 비자기적 학생 모델에서 빠른 병렬 추론을 가능하게 하는 데 얼마나 효과적인가?
• RQ3 실시간 슬라이딩 윈도우 처리를 통해 GPU 및 CPU에 배포했을 때 제안된 방법의 구현 가능한 지연 시간은 얼마인가?
• RQ4 비자기적 모델은 음성 품질, 화자 유사도, 감정 표현 유사도 측면에서 자기회귀적 S2S-VC와 비교해 어떻게 성능을 내는가?

주요 결과

• FastS2S-VC는 원래 자기회귀적 S2S-VC 모델 대비 변환 처리 속도를 70~100배 빠르게 했다.
• GPU에서 실행된 FastS2S-VC–RT의 실시간 버전은 32ms의 지연 시간을 기록하여 실용적인 실시간 배포가 가능했다.
• CPU에서는 256ms의 지연 시간이 기록되어 GPU 가속이 저지연 동작에 필수적임을 시사했다.
• 주관적 MOS 테스트에서 FastS2S-VC–RT–Conv의 음성 품질 평가가 높았으며, 자기회귀적 RNN 기반 S2S-VC를 뛰어넘고 최고 성능을 낸 S2S-VC–BAT–Conv 모델에 근접한 성능을 보였다.
• FastS2S-VC의 화자 유사도 및 감정 표현 유사도 점수는 자기회귀적 S2S-VC–BAT–RNN 기준 모델과 유사하거나 더 높았다.
• FastS2S-VC의 컨볼루션 기반 버전은 오브젝티브 평가에서 트랜스포머 기반 버전을 능가했으며, 이는 실시간 실험에서 대표 모델로 사용할 근거가 되었다.