[논문 리뷰] StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion

Takuhiro Kaneko, Hirokazu Kameoka외 2명|arXiv (Cornell University)|2019. 07. 29.

Speech Recognition and Synthesis참고 문헌 55인용 수 17

한 줄 요약

StarGAN-VC2는 스타드 기반 모델에서 조건부 방법을 재고함으로써 소스 및 타겟 조건부 적대적 손실과 모odulation 기반 네트워크 아키텍처를 도입하여 개선된 음성 변환 프레임워크를 제안한다. 이러한 개선 사항은 음성 품질과 화자 유사도를 크게 향상시켜, 복수 화자 음성 변환 작업에서 객관적 및 주관적 평가 모두에서 StarGAN-VC를 능가한다.

ABSTRACT

Non-parallel multi-domain voice conversion (VC) is a technique for learning mappings among multiple domains without relying on parallel data. This is important but challenging owing to the requirement of learning multiple mappings and the non-availability of explicit supervision. Recently, StarGAN-VC has garnered attention owing to its ability to solve this problem only using a single generator. However, there is still a gap between real and converted speech. To bridge this gap, we rethink conditional methods of StarGAN-VC, which are key components for achieving non-parallel multi-domain VC in a single model, and propose an improved variant called StarGAN-VC2. Particularly, we rethink conditional methods in two aspects: training objectives and network architectures. For the former, we propose a source-and-target conditional adversarial loss that allows all source domain data to be convertible to the target domain data. For the latter, we introduce a modulation-based conditional method that can transform the modulation of the acoustic feature in a domain-specific manner. We evaluated our methods on non-parallel multi-speaker VC. An objective evaluation demonstrates that our proposed methods improve speech quality in terms of both global and local structure measures. Furthermore, a subjective evaluation shows that StarGAN-VC2 outperforms StarGAN-VC in terms of naturalness and speaker similarity. The converted speech samples are provided at http://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/stargan-vc2/index.html.

연구 동기 및 목표

• 비병렬 복수 도메인 음성 변환에서 실제 음성과 변환된 음성 간의 성능 격차를 해소하기 위해.
• 학습 목표와 네트워크 설계에서 조건부 방법을 재고함으로써 StarGAN-VC의 일반화 능력과 신뢰도를 향상시키기 위해.
• 병렬 학습 데이터 없이도 단일 생성자로 다수 화자에 대해 고품질의 음성 변환을 가능하게 하기 위해.
• 변환된 음성에서 전반적(예: 스펙트럼 구조) 및 국소적(예: 모odulation 동역학) 특징 정렬을 향상시키기 위해.
• 기존 최신 기술 모델 대비 주관적 听음 테스트에서 더 나은 자연스러움과 화자 유사도를 달성하기 위해.

제안 방법

• 모든 소스 도메인 음성이 타겟 도메인 분포로 변환되도록 유도하는 소스 및 타겟 조건부 적대적 손실을 제안하여, 분류기의 일반화 능력을 향상시킨다.
• 도메인 특화 모odulation을 음성 특징에 적용하는 모odulation 기반 조건부 메커니즘을 도입하여, 스펙트럼 동역학에 대한 세밀한 제어를 가능하게 한다.
• 도메인 조건부 조건을 갖춘 단일 생성자 구조를 사용하여, StarGAN-VC의 확장성은 유지하면서도 특징의 정밀도를 향상시킨다.
• 아이덴티티 손실과 사이클 일致성 기반 GAN 프레임워크를 사용하며, 도메인 코드를 활용해 다수 화자 설정에 적응시켰다.
• 전반적 및 국소적 특징 유사도 평가를 위해 멜-세프트럴 왜곡(MCD)과 모odulation 스펙트럼 거리(MSD)를 객관적 지표로 적용한다.
• 주관적 听음 테스트에서 자연스러움과 화자 유사도 평가를 위해 XAB 선호도 테스트와 MOS 평가를 실시한다.

실험 결과

연구 질문

• RQ1 다양한 화자 음성 변환에서 변환된 음성이 타겟 음성과의 정렬을 향상시키기 위해 재구성된 적대적 손실이 효과적인가?
• RQ2 모odulation 기반 조건부 네트워크 아키텍처가 비병렬 음성 변환에서 국소적 스펙트럼 구조 보존에 기여하는가?
• RQ3 제안된 조건부 방법이 음성 품질과 화자 유사도 측면에서 기존 채널 기반 조건부 조건과 표준 적대적 손실 대비 어떻게 비교되는가?
• RQ4 제안된 방법이 객관적 및 주관적 평가 모두에서 실제 음성과 변환된 음성 간 격차를 어느 정도 감소시키는가?
• RQ5 향상된 모델이 다수 화자 변환을 넘어 다른 복수 도메인 음성 변환 작업으로도 일반화 가능한가?

주요 결과

• StarGAN-VC2는 멜-세프트럴 왜곡(MCD) 6.90 dB와 모odulation 스펙트럼 거리(MSD) 1.89 dB를 기록하여, 전반적 및 국소적 특징 유사도에서 StarGAN-VC를 모두 능가했다.
• 제안된 소스 및 타겟 조건부 적대적 손실은 표준 손실을 사용한 기준 모델 대비 MCD를 0.21 dB 감소시키고 MSD를 0.52 dB 감소시켰다.
• 모odulation 기반 조건부 네트워크는 채널 기반 방법 대비 MSD를 0.66 dB 감소시켜 국소적 구조 보존 능력 향상을 입증했다.
• 자연스러움에 대한 주관적 MOS 평가에서 StarGAN-VC2는 유의미하게 높은 점수(3.85)를 기록했으며(p < 0.05), StarGAN-VC의 평균 점수 3.67보다 높았다.
• 화자 유사도 선호도 점수는 StarGAN-VC2가 72%로 StarGAN-VC의 60%를 상회하여, 화자 신원 보존 측면에서 통계적으로 유의미한 향상을 보였다.
• 모델은 전체 변환, 동성 간 변환, 이성 간 변환 모든 범주에서 일관된 우수성을 보였다.