[논문 리뷰] ACVAE-VC: Non-parallel many-to-many voice conversion with auxiliary classifier variational autoencoder

Hirokazu Kameoka, Takuhiro Kaneko외 2명|arXiv (Cornell University)|2018. 08. 13.

Speech Recognition and Synthesis참고 문헌 40인용 수 48

한 줄 요약

ACVAE-VC는 비병렬 다대다 음성 변환 방법을 도입하며, 이는 fully convolutional 인코더/디코더, 정보이론적 정규화, 및 스펙트럴 디테일 이식에 기반한 보조 분류기 VAE를 활용하여 품질과 화자 유사성을 향상시킨다.

ABSTRACT

This paper proposes a non-parallel many-to-many voice conversion (VC) method using a variant of the conditional variational autoencoder (VAE) called an auxiliary classifier VAE (ACVAE). The proposed method has three key features. First, it adopts fully convolutional architectures to construct the encoder and decoder networks so that the networks can learn conversion rules that capture time dependencies in the acoustic feature sequences of source and target speech. Second, it uses an information-theoretic regularization for the model training to ensure that the information in the attribute class label will not be lost in the conversion process. With regular CVAEs, the encoder and decoder are free to ignore the attribute class label input. This can be problematic since in such a situation, the attribute class label will have little effect on controlling the voice characteristics of input speech at test time. Such situations can be avoided by introducing an auxiliary classifier and training the encoder and decoder so that the attribute classes of the decoder outputs are correctly predicted by the classifier. Third, it avoids producing buzzy-sounding speech at test time by simply transplanting the spectral details of the input speech into its converted version. Subjective evaluation experiments revealed that this simple method worked reasonably well in a non-parallel many-to-many speaker identity conversion task.

연구 동기 및 목표

• 전사 또는 시간 정렬 없이 정렬되지 않은 데이터라도 다룰 수 있는 비병렬, 다대다 VC 방법을 제시한다.
• 보조 분류기 정규화를 통해 속성 정보를 보존하는 CVAE 기반 VC 프레임워크를 개발한다.
• 과다 평활화(oversmoothing)를 피하기 위해 스펙트럴 디테일을 이식하여 음성 자연성을 향상시킨다.
• fully convolutional 아키텍처를 통해 음향 특징의 시간 의존성을 포착한다.
• 주관적 평가에서 VAE-GAN 기반선보다 우수한 실용적 비병렬 VC 솔루션을 제공한다.

제안 방법

• 프레임 단위 데이터가 아닌 음향 특징 시퀀스를 처리하기 위해 fully convolutional 인코더, 잠재 공간, 디코더를 사용한다.
• 출력이 속성 라벨 c에 의해 영향을 받도록 변분 정보 최대화 목표를 갖는 보조 분류기를 도입한다.
• 보조 분류기 rψ(c|x)를 통해 I(c; x|z)의 하한을 최대화하는 정보이론적 정규화를 채택한다.
• Gaussian 디코더 출력에만 의존하지 않고 입력 음성의 스펙트럴 디테일을 변환된 출력으로 이식하여 oversmoothing을 방지한다.
• WORLD 스펙트럴 엔벨로프에서 도출된 mel-cepstral 계수를 변환하며, WORLD 보코더를 사용한 스펙트럴 디테일 이식 방식으로 처리한다.
• 가변 길이 시퀀스를 처리하기 위해 인코더, 디코더, 보조 분류자에 대해 fully convolutional 게이트드 CNN 아키텍처를 구현한다.

실험 결과

연구 질문

• RQ1 ACVAE 프레임워크를 사용하여 비병렬 데이터 없이도 비병렬 다대다 음성 변환을 효과적으로 학습할 수 있는가?
• RQ2 보조 분류기와 정보이론적 정규화를 도입하면 생성된 음성에서 속성 제어( c )를 유지할 수 있는가?
• RQ3 스펙트럴 디테일 이식이 oversmoothing을 완화하고 VAE-GAN 기반 접근법에 비해 지각적 품질을 향상시키는가?
• RQ4 Fully convolutional 네트워크가 VC 작업에서 음향 특징 시퀀스의 시간 의존성을 포착하는가?
• RQ5 기준 방법에 비해 음질 및 화자 유사성에 대한 주관적 평가에서 ACVAE-VC의 성능은 어떠한가?

주요 결과

• 주관적 AB 및 ABX 테스트는 비병렬 다대다 VC에서 음질과 화자 유사성 면에서 ACVAE-VC가 VAE-GAN 기준선보다 우수하다는 것을 보여준다.
• 본 방법은 디코더에 의존하는 것만으로는 아닌 입력의 스펙트럴 디테일을 이식하여 지각적 품질을 향상시킨다.
• ACVAE-VC는 보조 분류기 정규화를 통해 타깃 속성에 대한 제어를 유지하여 일반 CVAE에서 c가 무시되는 문제를 해결한다.
• Fully convolutional 아키텍처는 음향 특징 시퀀스의 시간 의존성 학습을 가능하게 하여 변환의 사실감을 향상시킨다.
• 해당 방식은 보고된 설정에서 다수 화자 신원과 네 차원의 타깃/소스 구성을 갖춘 비병렬 말뭉치에서도 작동한다.