[논문 리뷰] Many-to-Many Voice Transformer Network

Hirokazu Kameoka, Wen-Chin Huang외 4명|arXiv (Cornell University)|2020. 05. 18.

Speech Recognition and Synthesis참고 문헌 71인용 수 9

한 줄 요약

이 논문은 공유 잠재 공간을 사용하여 다수의 화자 간에 동시에 매핑을 학습할 수 있도록 원래의 순서에서 순서로(Sequence-to-Sequence, S2S) 음성 변환 모델을 확장한 다대다 음성 트랜스포머 네트워크(Voice Transformer Network, VTN)를 제안한다. 신규로 도입된 아이덴티티 매핑 손실과 다중 화자 조건화를 통해 기준 모델 대비 뛰어난 음성 품질과 화자 유사도를 달성하였으며, 특히 주관적 청취 테스트에서 뛰어난 성능을 보이며 일대일 이상의 시나리오를 넘어서도 융통성 있게 변환할 수 있다.

ABSTRACT

This paper proposes a voice conversion (VC) method based on a sequence-to-sequence (S2S) learning framework, which enables simultaneous conversion of the voice characteristics, pitch contour, and duration of input speech. We previously proposed an S2S-based VC method using a transformer network architecture called the voice transformer network (VTN). The original VTN was designed to learn only a mapping of speech feature sequences from one speaker to another. The main idea we propose is an extension of the original VTN that can simultaneously learn mappings among multiple speakers. This extension called the many-to-many VTN makes it able to fully use available training data collected from multiple speakers by capturing common latent features that can be shared across different speakers. It also allows us to introduce a training loss called the identity mapping loss to ensure that the input feature sequence will remain unchanged when the source and target speaker indices are the same. Using this particular loss for model training has been found to be extremely effective in improving the performance of the model at test time. We conducted speaker identity conversion experiments and found that our model obtained higher sound quality and speaker similarity than baseline methods. We also found that our model, with a slight modification to its architecture, could handle any-to-many conversion tasks reasonably well.

연구 동기 및 목표

• 순서에서 순서로(S2S) 학습을 활용하여 기존 음성 변환(VC) 방법의 초구성적 특징(예: 음고 곡선과 지속시간)을 다루는 데에 한계가 있음을 해결하기 위해.
• 원래의 음성 트랜스포머 네트워크(VTN)를 일대일에서 다대다 화자 변환으로 확장하여 다수의 화자 간에 공동 모델링이 가능하도록 하기 위해.
• 원본 입력 특징을 유지하는 아이덴티티 매핑 손실을 도입하여 모델의 일반화 능력과 성능을 향상시키기 위해.
• 텍스트 전사나 음성 인식(ASR)이 필요 없이도 임의의 다대다 및 실시간 변환과 같은 융통성 있는 VC 작업을 가능하게 하기 위해.
• 내성 및 이성별 화자 쌍에 대해 객관적 지표와 주관적 청취 테스트를 통해 모델 성능을 평가하기 위해.

제안 방법

• 화자 임bedding 벡터를 조건으로 하여 원래의 VTN 아키텍처를 다수의 원천 및 대상 화자 지원을 위해 확장한다.
• 원천 및 대상 화자 인덱스가 동일할 경우의 편차를 벌이지 않도록 하는 아이덴티티 매핑 손실을 도입하여 입력 특징을 유지하도록 유도한다.
• 장거리 의존성을 모델링하기 위해 다중 헤드 자기주의(Multi-head self-attention)를 사용하는 트랜스포머 기반 인코더-디코더 아키텍처를 사용한다.
• 실험에서 월드(VORLD) 보코더를 사용하여 웨이브폼을 생성하지만, 향후 개선을 위해 신경 보코더를 사용한 엔드 투 엔드 학습을 제안한다.
• 모든 화자 간에 공유되는 잠재 공간을 활용하여 공통적인 강세 및 스펙트럼 특징을 캡처함으로써 데이터 효율성과 일반화 능력을 향상시킨다.
• 추론 시 임의의 대상 화자 임베딩을 허용하도록 아키텍처를 수정함으로써 임의의 다대다 변환을 지원한다.

실험 결과

연구 질문

• RQ1 다수의 화자에서 학습된 순서에서 순서로 음성 변환 모델이 공유된 강세 및 스펙트럼 표현을 공동으로 학습하여 변환 품질을 향상시킬 수 있는가?
• RQ2 원천 및 대상 화자가 동일할 경우 입력 특징을 유지하는 데에 아이덴티티 매핑 손실이 얼마나 효과적인가? 그리고 일반화 능력 향상에 기여하는가?
• RQ3 주관적 평가에서 다대다 VTN이 일대일 및 기준 S2S-VC 모델보다 음성 품질과 화자 유사도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 화자 확인 임베딩을 사용하여 화자 임베딩을 교체함으로써 모델이 미리 보지 않은 화자(제로샷 VC)에 일반화될 수 있는가?
• RQ5 텍스트 애너테이션 없이도 임의의 다대다 또는 실시간 변환과 같은 융통성 있는 변환 작업을 다대다 VTN이 처리할 수 있는가?

주요 결과

• 다대다 VTN은 경쟁 모델 중 다대다 컨볼루션 S2S-VC를 제외한 모든 모델보다 평균 평가 점수(MOS)가 유의미하게 높았으며, 맨니-위트니 검정에서 p-값 < 0.05를 기록했다.
• 모델은 일대일 VTN 및 기타 S2S 기준 모델 대비 주관적 청취 테스트에서 화자 유사도 측면에서 뛰어난 성능을 보였으며, 통계적으로 유의미한 향상(p < 0.05)을 보였다.
• 다대다 컨볼루션 S2S-VC보다 객관적 점수(MCD 및 LFC)는 낮았지만, 주관적 품질은 더 뛰어나지 못함을 시사하며, 청취 품질과 모델 설계 간의 강한 상관관계를 확인했다.
• 아이덴티티 매핑 손실은 특히 화자 정체성과 자연스러움을 유지하는 데 매우 효과적이었으며, 테스트 시 성능 향상에 기여했다.
• 화자 확인 임베딩과 결합했을 때 모델은 새로운 화자에 대해 강력한 일반화 능력을 보였으며, 제로샷 음성 변환의 가능성에 대한 근거를 제시했다.
• 아키텍처 확장 덕분에 최소한의 아키텍처 변경으로도 임의의 다대다 변환 작업에서 합리적인 성능을 달성했다.